原创 爬蟲之DynamoDB初識

AmazonDynamoDB被設計成用來託管的NoSQL數據庫服務、可預期的性能、可實現無縫擴展性和可靠性等核心問題 DynamoDB沒有Cassandra和MongoDB強大 MongoDB是文檔型的數據庫,可以理解爲底層存儲的是J

原创 tonrnado之用戶登錄驗證

用戶登錄,輸入用戶名和密碼與數據庫的用戶名和密碼做對比,正確的話登錄成功,否則提示用戶名和密碼錯誤 保持會話cookie保證已經實現、數據庫的操作已經實現好session會話 用戶登入驗證,我們希望用戶只需要在第一次登錄的時候輸入用

原创 tornado之ORM框架基礎與操作

SQLAlchemy 是 python 中常用的 ORM 框架 ORM全稱 Object Relational Mapping對象關係映射 通過 ORM 可以不用關心後臺是使用的哪種數據庫,只需要按照 ORM 所提供的語法規則去書寫相

原创 python的7個經典的面試題

http://michaelyou.github.io/2015/05/19/%E7%BF%BB%E8%AF%91-7%E4%B8%AA%E7%BB%8F%E5%85%B8python%E9%9D%A2%E8%AF%95%E9%A2%98

原创 scrapy框架之Item Pipeline 360圖片遇到的坑

爬取目標:爬取360圖片前50頁並且實現本地CSV格式保存和Mongodb保存數據,下載支持異步和多線程,圖片下載使用ImagePipeline內置類重寫, 理解好Item Pipeline組件 重點內容 第一次運行報錯: 報錯Imp

原创 python爬蟲之OCR驗證碼識別

OCR驗證碼初探 http://my.cnki.net/elibregister/CheckCode.aspx 隨機獲取驗證碼保存到項目的根目錄下 今天第寫一個簡單的驗證碼識別例子小夥伴說識別出來的跟預想的不一樣,主要是我寫的例子驗

原创 scrapy框架之爬取豆瓣電影

scrapy框架之爬取豆瓣電影 思路: 1.建立項目 scrapy startproject douban 創建爬蟲者:scrapy genspider douban movie.douban.com 2.明確目標,主要是處理it