原创 python爬蟲之SSL、加密、破解有道詞典加密算法並編寫有道詞典實時翻譯

1、SSL -SSL證書就是指遵守SSL安全套階層協議的服務器數字證書(SercureSocketLayer) -美國王景公司開發 -CA(CertifacateAuthority)是數字證書認證中心,是發放、管理、廢除數字證書的收信人的

原创 Python爬蟲之UserAgent和常見瀏覽器UA值總結、Proxy代理IP、隱藏地址

-UserAgent          -UserAgent:用戶代理,簡稱UA,屬於heads的一部分,服務器通過UA來判斷訪問者身份          -常見的UA值,使用的時候可以直接複製粘貼,也可以用瀏覽器訪問的時候抓包 wind

原创 python爬蟲之驗證碼識別及TesseractNotFoundError:tesseract is not installed or it's not in your path問題解決

驗證碼問題 1、驗證碼:放置機器人或者爬蟲 2、分類 -簡單圖片 -極驗,官網:www.geeetest.com -12306 -電話 -google驗證 3、驗證碼破解 -運用方法:         -下載網頁和驗證碼        

原创 python爬蟲之ajax請求爬取豆瓣電影數據

ajax -異步請求 -一定會有url,請求方法,可能有數據 -一般使用json格式 -案例:爬取豆瓣電影數據 進入豆瓣電影官網->排行榜->劇情,打開審查元素,查看network->all,   可以看到找到每個鏈接中間有20個圖片

原创 python爬蟲之Scrapy框架原理及操作實例詳解、股票數據Scrapy爬蟲

爬蟲框架 -scrapy、pyspider、crawley等 Scrapy框架 1、scrapy框架介紹         -https://doc.scrapy.org/en/latest/         -http://scrapy-

原创 ERROR: Pidfile (celerybeat.pid) already exists.

啓動celery beat的時候有這樣一個報錯, (rpa2) E:rpa2>celery beat vx.x.x(版本號) (Cipater) is starting. ERROR: Pidfile (celerybeat.pid)

原创 python爬蟲(Spider)之(使用urlopen、response簡介、chardet檢測編碼、urllib之requests、error、parse|爬蟲實現百度翻譯)

準備工作 -參考資料          -python網絡數據採集,圖靈工業出版          -精通Python爬蟲框架Scrapy,人民郵電出版社          -[Python3網絡爬蟲]http://blog.csdn.n

原创 redis.exceptions.ConnectionError: Error 10061 connecting to 127.0.0.1:6379. 由於目標計算機積極拒絕,無法連接。.

redis.exceptions.ConnectionError: Error 10061 connecting to 127.0.0.1:6379. 由於目標計算機積極拒絕,無法連接   是由於沒有啓動redis服務,解決方法如下: 1

原创 git 命令筆記(一)(初始、創建版本庫、版本回退、Git撤銷修改和刪除文件操作)

一、初始 1、git hlep git 顯示幫助索引      git help <command>  顯示特別命令 2、初始配置:填寫用戶名和郵箱 git config -- global user.name "XXXX(用戶名)

原创 常見web攻擊

一、sql注入攻擊及防範 1、sql注入的危害 非法讀取,篡改,刪除數據庫中的數據 通過修改數據庫來修改網頁上的內容 盜取用戶的各類敏感信息 注入木馬等 是黑客攻擊常用的手段 2、sql注入攻擊原理 class LoginUnsafeV

原创 django的class meta

Class Meta 作用: 1、abstract:將abstract設置爲True後,CommonInfo無法作爲一個普通的Django模型,而是作爲一個抽象基類存在,是爲了繼承,將該基類定義爲抽象類,即不必生成數據庫表單,只作爲一個可

原创 pandas之GroupBy分割、應用、組合

1、pandas的累計方法 指標 描述 count() 計數項 first()、last() 第一項與最後一項 mean()、median() 均值與中位數 min()、max() 最小值與最大值 std()、var() 標準差與方差 m

原创 各種學習網址總結-程序猿值得擁有

1、有關python等一些文檔的愛好者寫的中文翻譯: 一譯   https://yiyibooks.cn/ 2、pyecharts官網 pyecharts https://pyecharts.org/#/zh-cn/quickstart

原创 pandas之數據合併(索引上的合併、軸向連接、合併重疊數據等)

合併數據集 pandas對象中得數據可以通過一些內置的方式進行合併: ——pandas.merge可根據一個或多個鍵將不同DataFrame中的行連接起來。SQL或其他關係型數據庫的用戶對此應該會比較熟悉,因爲它實現的就是數據庫的連接操作

原创 Pandas基本功能之算數運算和數據對齊、函數應用和映射、排序、排名

1、算術運算和數據對齊 (1)對不同索引的對象進行算數運算 在將對象相加時,如果存在不同的索引對,則結果的索引就是該索引對的並集。 s1 = Series([7,2,-2,4],index=['a','b','c','d']) s2 =