原创 python庫pandas 基礎介紹
1 pandas核心數據結構 一維序列 Series 二維表結構 DataFrame 基於這兩種數據結構，pandas可以對數據進行導入、清洗、處理、統計和輸出 1.1 Series 定長字典序列 Series 有兩個基本屬
2020-06-19 12:33:46
原创 排查解決 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
python爬蟲起步時碰到該錯誤，如下代碼： （python版本，3.7） url = https://www.douban.com/j/search_photo?q=熊貓&limit=20&start=0 html = requ
2020-06-19 12:33:46
1
原创 常用數據規範化方法: min-max規範化，零-均值規範化等
數據變換是數據準備的重要環節，將數據轉換成適用於數據挖掘的形式。數據變換的常用方式： 數據平滑：去除噪聲，將數據離散化 數據聚集：如sql中的聚集函數，count(), sum() 數據概化：數據由較低概念 抽象爲 較高概念 數
2020-06-19 06:33:37
1
原创 sql 條件判斷 if / case when then / ifnull
1 if 和 ifnull if 類似三元運算符，if(?=?,a,b) 爲true等於a，false等於b，類似三元表達式 ifnull函數用於在MySQL中將NULL值替換爲另外一個值 2 case 流程控制 簡
2020-06-19 04:20:21
原创 python庫 numpy基礎，詳解與實踐
1. NumPy基礎 —— 是什麼 NumPy是SciPy、Pandas 等數據科學的基礎庫 提供的數據結構比 Python 自身的“更高級、更高效” 1.1 ndarray 多維數組 1.1.1 創建數組 import nu
2020-06-19 04:20:21
原创 select / poll / epoll 結合源碼分析
基於對網絡編程和基本I/O模型瞭解的基礎上，進一步分析I/O複用的系統調用函數。 1 select/poll實現 (1) int select(int nfds, fd_set *readfds, fd_set *writefds
2020-06-06 12:35:40
原创 sql join連接 及 聚合函數
1 sql語句基礎 sql（結構化查詢語言）分爲兩個部分：DML，DDL DML 數據操作語言(查詢和更新指令) 指令 含義 select 獲取數據 update 更新數據 delete 刪除數據 i
2020-02-20 21:12:51
原创 python語法基礎--習慣性小坑
0. 簡單說明 python 解釋型語言; 包管理工具pip3 python 動態類型語言，強類型語言 動態類型和靜態類型的本質區別是在哪個階段做類型檢查。動態語言之所以看上去能夠改變變量的類型是因爲對值的類型檢查在運行時 靜態
2020-02-20 21:12:51
原创 mac環境 python3.7安裝 ssl module 及 lzma.py 報錯解決
emmm, 折騰了三個小時的環境。import ssl 報錯 No module named ‘_ssl’ 吐槽一波後，還是要處理哇 環境：mac python版本：3.7 1 No module named '_ssl’最終解決
2019-08-29 09:55:54
61
原创 代理模式 以及 php對象實例化的應用場景
0 代理模式 代理模式，即通過 代理對象 訪問 目標對象，可以在目標對象實現的基礎上，增加額外的功能性操作 靜態代理 即在代理類中重寫需要調用的方法，實現思路直接，但需要維護很多代理類 動態代理 相關內容作爲參數傳入，如j
2019-07-30 08:53:56
原创 git 實用問題整理
上車前只熟悉了add, commit，然後就碰上了 一不小心玩壞了。。。mark一下 1. git reflog 查看之前的所有記錄，git log不能查看已刪除的commit 3146d6f (HEAD -> master) HEAD
2018-09-04 14:12:18
2
原创 網絡編程IO -- 同步，異步，阻塞，非阻塞
0. IO基礎 0.1 計算機IO控制方式 詢問方式（CPU和IO設備串行工作） a. 查詢指令，用來查詢設備是否就緒 b. 傳送指令，設備就緒時，執行數據交換 c. 轉移指令，設備未就緒時，執行轉移指令轉向查詢指令繼續查詢 缺點：C
2018-08-29 06:47:38
原创 請求url的底層數據通信過程
對url加載過程中底層通信過程的分析。訪問某網址時，即使通過本地緩存即可完成域名解析，但與對應IP地址建立TCP連接的前提是：本機可與服務器進行數據報的交互，因此對該過程進行一定的瞭解。 0. TCP/IP五層模型 TCP/IP層
2018-08-29 06:47:38
2
原创 數據分析——特徵工程
1. 數據預處理 1.1 缺失值處理 根據經驗值填充失數據 計算均值，中位數，衆數。。等填充數據 重新獲取缺失數據 1.2 數據格式/字符類型不符 1.3 邏輯錯誤 數據重複，去重操作 數據邏輯不合理，如存在相關性的值之間存在矛盾（
2018-08-29 06:47:37