原创 初識 Scrapy - Item Pipeline
文章目錄1. 前言2. 自定義item pipeline3. 示例4. 重複過濾器5. 激活item pipeline組件6. 參考文獻 1. 前言 在item被spider抓取之後，它會被髮送到Item Pipeline，該管道
2020-07-04 01:33:03
原创 初識 Scrapy - Feed導出
文章目錄1. 前言2. 序列化格式2.1 JSON2.2 JSON lines2.3 CSV2.4 XML2.5 Pickle2.6 Marshal3. 存儲3.1 存儲的URI參數3.2 本地文件系統3.3 FTP3.4 S33
2020-07-04 01:33:03
1
原创 Redis相關的一些問題
文章目錄1. 緩存穿透2. 緩存雪崩3. 緩存擊穿4. 緩存併發競爭(併發set)5. 如果master還未將AOF同步給slave就掛了，此時failover將此slave提升爲新的master，那麼如何保證最終一致性？ 1.
2020-07-04 01:33:03
原创 記一記 TCP的三握四揮
文章目錄 轉自如下兩篇文章： TCP的三次握手與四次揮手理解及面試題（很全面） 面試官，不要再問我三次握手和四次揮手 每次看了TCP的三次握手和四次揮手，總是過一段時間就忘記了，寫此文加深理解和記憶。 如下圖所示，TCP首部中有很
2020-07-04 01:33:03
3
原创 初識 Scrapy
文章目錄1. 前言1.1 什麼是Scrapy？1.2 scrapy、BS 和 lxml1.3 爬取順序1.4 需要解析的數據過大怎麼辦？1.5 部署 Scrapy 爬蟲1.6 Scrapy的依賴2. 創建Scrapy項目3. 如何
2020-07-04 01:33:03
原创 初識 Scrapy - Item Loader
文章目錄1. 前言2. 使用Item Loader3. 輸入和輸出處理器4. 聲明Item Loader5. 聲明 輸入/輸出處理器6. Item Loder 上下文7. 嵌套Loader8. 參考文獻 1. 前言 Scrapy並
2020-07-04 01:33:03
原创 初識 IO多路複用
文章目錄 下面的例子來自知乎。 I/O多路複用技術（multiplexing）是什麼？ 下面舉一個例子，模擬一個tcp服務器處理30個客戶socket。 假設你是一個老師，讓30個學生解答一道題目，然後檢查學生做的是否正確，你有
2020-07-04 01:33:03
原创 通過FAQ簡單瞭解Redis
文章目錄1. Redis與其他的鍵值對存儲有什麼不同？2. Redis的內存佔用量是多少？3. 無法擁有比內存更大的數據集。 能改變這一點嗎？4. 將Redis與持久化數據庫一起使用是一個好主意嗎？5. 有什麼辦法可以降低Redi
2020-06-30 03:04:43
原创 初識 Redis pipelining
使用Redis pipelining可以加速Redis查詢 1. 請求/響應協議和RTT Redis是一個使用client-server模型和請求/響應協議的TCP服務器。 過程如下： client 發送一個請求給server，
2020-06-30 03:04:43
原创 初識 將Redis作爲LRU緩存
文章目錄1. Maxmemory配置2. 淘汰策略3. 淘汰策略如何工作4. 近似LRU算法5. LFU模式6. 參考文獻 當 Redis用作緩存時，通常很容易在添加新數據的同時移除舊數據。 此行爲在開發者社區中是衆所周知的，因爲
2020-06-30 03:04:43
原创 Redis 的發佈/訂閱(pub/sub)模式
文章目錄pub/sub頻道訂閱消息的格式模式匹配訂閱同時符合模式和頻道訂閱的消息模式匹配的訂閱計數的意義參考文獻 pub/sub 發佈者將消息發佈到channels，而不用關心訂閱者是誰。 訂閱者可以訂閱一個或多個channels
2020-06-28 14:53:05
原创 初識Redis lua腳本
文章目錄Lua腳本Lua和Redis數據類型之間的轉換Lua腳本的原子性錯誤處理帶寬和EVALSHA腳本命令參看文獻 Lua腳本 Lua是一個高效的輕量級腳本語言，用標準C語言編寫並以源代碼形式開放， 其設計目的是爲了嵌入應用程序
2020-06-28 14:52:54
原创 初識 Redis 數據分區
文章目錄1. 前言1.1 什麼是分區？1.2 爲什麼要用分區？2. 分區基礎知識2.1 分區的不同實現2.2 分區的缺點2.3 數據存儲還是緩存？2.4 預分片（presharding）3. Redis 分區的實現3.1 Redi
2020-06-28 14:52:54
原创 Redis簡單瞭解
文章目錄1. 前言2. Redis的數據類型Redis中的鍵2.1 String2.2 Lists常見用例Capped listslist的阻塞操作自動創建和刪除鍵2.3 Hashes2.4 Sets常見用例2.5 Sorted
2020-06-28 14:52:54
原创 Anaconda簡單介紹
目錄1. 前言1.1 什麼是Anaconda？1.2 什麼是conda ？2. 安裝Anaconda2.1 Windows2.2 Linux2.3 MacOs3. 使用Anaconda什麼是Anaconda Navigator？爲
2020-06-25 02:07:13