原创 python 網絡爬蟲 (十五)Redis數據庫的安裝(配成服務器)+ redis基礎命令 + redis集中數據類型及其操作(string + hash + list + sets + zset)

文章目錄一、Redis的介紹及安裝(配成服務器)1. Redis的介紹2. Redis的優點1. 安裝成服務(1)第一步:解壓,配置環境變量(2)輸入命令,啓動服務2. redis的客戶端命令和服務端命令(1)服務器命令:(端口默

原创 Python程序員進階之路----------從小白到資深程序員必備的100個模塊----------

文章目錄1. 注意2. 從 pythoneer 到 pythonista 的100個模塊 1. 注意 星級 等級 ★☆☆☆☆ 較少被用到 ★★☆☆☆ 重要但較少被用到 ★★★☆☆ 解決特定問題不可或缺

原创 Django + Flask +(nginx+uwsgi部署)面試題必問60題(多送一題)集錦 + 詳解

文章目錄1. Django創建項目的命令2. Django創建項目後,項目文件夾下的組成部分3. 對 MVC,MVT 解讀的理解4. Django中models利用ORM對Mysql 進行查表的語句(多個語句)5. django

原创 python基礎知識(二)最全的 列表 + 字典 合併方法 dict(a.items()+b.items())方法真的完全有效嗎?你可能需要重新認識一下!!!

--------------------------------這些方法你全會嗎?反正不總結之前的我不是!-------------------------------- 文章目錄一、兩個字典的合併1. 第一種方法:字典的常規處理

原创 python 數據分析 (一)數學基礎(統計學知識和線代的矩陣)

文章目錄一、統計學知識1. 衆數(1)概念:(2)注意:(3)舉例(4)總結2. 中位數(1)定義(2)注意(3)案例(4)總結3. 平均數4. 方差(1)定義(2)方法(3)公式(4)案例(5)總結5. 標準差(均方差)(1)定

原创 python 爬蟲(十二)MongoDB詳解(安裝 + 介紹 + MongoDB庫和集合的介紹(相關命令:創建 + 刪除)) + 爬蟲中分頁的兩種方法

注意: 爬取網站的流程: 確定網站哪個url是數據的來源。 簡要分析一下網站結構,查看數據一般放在哪裏。 發送請求requests,查看response.text裏面是否有我們想要的數據內容。 如果有數據,就用相應的提取數據的方

原创 python 數據分析(六)astype('category')按類別分組 + 分組聚合操作 + 透視表 + 交叉表 + excel表的數據處理

文章目錄一、按照類別單獨分類astype()1. astype()用法二、時間操作1. 第一種:直接利用to_datetime()2. 第二種:Series.dt三、分組聚合操作1. 分組(1)groupby()方法2. 聚合(1

原创 flask藍圖介紹及創建藍圖

文章目錄一、藍圖1. 什麼是藍圖2. 藍圖的運行機制3. 運行創建的藍圖及加上路由前綴4. 一個項目中多個藍圖5. 使用藍圖構建項目6. 修改文件(運行項目)7. 項目運行中使用restful獲取的接口數據頁面調用問題 一、藍圖

原创 python 數據分析(三)矩陣的創建 + 運算 + 常用屬性(轉置,共軛,逆矩陣等)+ ufunc廣播機制 + numpy文件讀寫 + 排序 + 去重與重複 + 統計函數 + 歐氏距離的使用

文章目錄一、矩陣1. 矩陣的定義2. 矩陣的創建(1)mat()函數方法(2)matrix()函數(3)bmat()函數① 字符串寫法② 列表寫法3. 矩陣的運算(1)矩陣與數相乘--》數乘:mat*3(2)矩陣加減法:A+B(3

原创 python 爬蟲(十三)MongoDB基礎:增刪改查操作 + MongoDB 聚合 + 遊標的概念和操作 + B tree + hash索引 + 索引的常用命令(創建,刪除等)

小知識:(列表去掉[]:) a = ['123','23'] b = ''.join(a) print(b) 文章目錄一、MongoDB增刪改查操作1. 增加:insert方法(1)增加單篇文檔(一條數據)(2)增加多個文檔

原创 python 爬蟲(九)selenium常用方法總結

文章目錄一、selenium常用方法二、selenium十八種定位方法三、selenium方法整理一、常用庫導入二、基本操作 一、selenium常用方法 注意:下面的driver均爲實例化對象 from selenium im

原创 flask效率

文章目錄一、flask效率1. python中提高性能2. 利用生成器yield實現攜程(work1和work2進行切換)greenlet(封裝的yield)3. gevent(封裝的greenlet)4. 猴子補丁(monkey

原创 python爬蟲(四)正則表達式 + 元字符 + pattern對象的相關方法 + 貪婪模式和禁止貪婪

文章目錄一、正則表達式的必備知識1. 正則表達式概念2. 正則表達式的原理3. 數據的存儲和分類4. json數據5. 解析json的包二、 正則表達式1. 元字符2. re模塊的使用步驟3. pattern對象的方法4. 正則表

原创 flask部署

文章目錄一、flask部署1. 通過Xshell和Xftp連接虛擬機2. 通過在pycharm中導出的依賴包來下載依賴包3. 同步表結構4. 啓動項目(先試運行)5. 安裝uwsgi並修改配置6. 下載並配置nginx 編寫ngi

原创 python 爬蟲(十)selenium+phantomjs請求頁面流程 + selenium的三種等待 + 案例(豆瓣讀書 + 騰訊招聘)

文章目錄一、selenium+phantomjs來請頁面的流程1. 導包2. 創建driver對象3. 請求url4. 等待4. 獲取頁面內容5. 用lxml模塊解析頁面內容二、selenium的三種等待1. 強制等待2. 隱性等