原创 海康威視網絡攝像頭-預覽出現綠色移動偵測規則框

最近接觸了海康威視網絡攝像頭的二次開發,需要下載官方提供的SDK 選用的二次開發DEMO路徑是解壓後的: Demo示例/c#開發示例/實時預覽示例代碼二按照說明把相應的dll和文件夾放到工程對應的bin目錄,併成功運行demo之後,預覽圖像

原创 使用Scrapy抓取優酷視頻列表頁(電影/電視)

具體代碼可參看Knowsmore 這裏列表頁是指PC端的入口,如電影 抓取後數據如下: { "link" : "//v.youku.com/v_show/id_XMzMyMzE2MTMxNg==.html", "thumb_

原创 使用scrapy抓取Youtube播放頁數據

可參看Knowsmore 抓取Youtube播放頁數據的前提是scrapy部署的機器可以正常訪問Youtube網站 示例網址 抓取的原理是讀取Youtube播放頁桌面版網頁源代碼中的全局變量: ytInitialData 存取到Mongo中

原创 使用scrapy抓取Youtube播放列表信息

可參看Knowsmore 抓取Youtube列表數據的前提是scrapy部署的機器可以正常訪問Youtube網站 示例網址 存取到Mongo中的數據如下: { "playlist_id" : "PLEbPmOCXPYV67l45xFBdmo

原创 基於Docker的Scrapy+Scrapyd+Scrapydweb部署

文章開始,先摘錄一下文中各軟件的官方定義 Scrapy:An open source and collaborative framework for extracting the data youneed from websites.In