原创 python3爬蟲學習筆記之分析動態渲染網頁爬取Selenium+Chrome（九）
JavaScript動態渲染並不是只有Ajax這一種，一些頁面並不能通過前面章節的分析方法分析並爬取數據，所以就有了模擬瀏覽器運行的方式來實現爬取，這樣在瀏覽器中看到是什麼樣，抓取的源碼就是什麼樣的，無需考慮用了什麼方式渲染頁面。Pyth
2020-06-17 11:10:44
7
原创 python3爬蟲學習筆記之請求庫的使用（二）
我們在使用python爬蟲時，需要模擬發起網絡請求，主要用到的庫有requests庫和python內置的urllib庫，一般建議使用requests，它是對urllib的再次封裝，它們使用的主要區別： requests可以直接構建常用的g
2020-06-17 11:10:44
原创 ckpt模型轉換爲tf serving的saved model格式
最近這段時間又開始在弄部署問題，使用的是Google的Tensorflow serving框架，使用的環境是Ubuntu16.0.4+docker+tensorflow serving。如果需要知道這個框架搭建及使用，可以看我之前的博客，
2020-06-17 10:10:42
原创 python3爬蟲學習筆記之環境安裝（一）
編寫程序和運行代碼之前，首先要做的就是將環境安裝好。這裏爬蟲用的語言是python3，python安裝就不介紹了。 爬蟲過程主要爲：頁面抓取、頁面分析、數據存儲。 頁面抓取主要用到的包爲：requests和selenium。request
2020-06-17 09:12:59
原创 python3爬蟲學習筆記之Selenium+Chrome爬取中國青年網新聞內容（十）
Selenium+Chrome爬取中國青年網新聞內容，內含代碼解釋文檔；該文件，主要是利用Selenium+Chrome爬取中國青年網的新聞鏈接，插入數據庫，並根據鏈接爬取鏈接下的新聞內容再插入到數據庫中，數據庫使用的是MySQL，在py
2020-06-17 09:12:59
原创 python3爬蟲學習筆記之正則表達式（三）
通過前面章節的學習，我們可通過請求庫向服務器發出請求，然後服務器返回結果，其中包含網頁源碼，那麼怎麼將這些源碼解析爲我們需要的形式，一種方式就是通過正則表達式來匹配得到。 正則表達式是處理字符串的強大工具，有了它，實現字符串的檢索、替換、
2020-06-17 09:12:59
原创 Docker + Tensorflow serving 多模型在線部署
前面介紹的Tensorflow serving啓動服務時，會將我們的模型服務放到服務器端口，那麼如果我們需要將多個模型同時放到該端口該怎麼做呢？例如我們需要將dog-cat分類模型、目標檢測模型同時放到端口上，用戶可以根
2020-06-02 06:32:21