原创 二手車交易價格預測之二-數據分析(EDA)

數據探索在機器學習中一般被稱爲EDA(Exploratory Data Analysis), 對已有的數據,特別是調查或觀察得來的原始數據,在儘量少的先驗假定下進行探索, 通過作圖、製表、方程擬合、計算特徵量等手段探索數據的結構和

原创 Imbalanced class problem(ROC, Confusion Matrix)

1 何爲 Imbalanced class problem 在分類問題中,有時候一種類別的數據會遠遠的多於另外一種類別, 但正是這些少量的類別的數據,往往又是極其重要的。 比如信用卡欺詐事件,該事件遠遠地小於信用卡未被欺詐的事件。 要從信

原创 二手車交易價格預測之三-特徵工程

1. 導入工具包 import pandas as pd import numpy as np import matplotlib import matplotlib.pyplot as plt import seaborn as

原创 Viola-Jones人臉檢測詳解

在人臉檢測中,Viola-Jones算法是一種非常經典的算法,該算法在2001年的CVPR上提出,因其高效快速的檢測而被廣泛使用。 這個算法用來檢測正面的人臉圖像,對於側臉圖像的檢測不是很穩健。 算法可以被分爲以下幾個部分: 利用Haar

原创 消費者行爲分析(Python+numpy+matplot+pandas)

1. 數據和需求 數據來源CDNow網站的用戶購買明細, 主要包括以下幾個字段: user_id 用戶ID order_date 購買日期 order_products 購買產品數 order_amount 購買金額 消費者行

原创 滴滴打車數據分析(SQL+Excel)

1. 數據說明 數據來源於滴滴打車的數據,爲了方便,只截取了一部分數據。現有四張表,分別是“司機數據”表,“訂單數據”表,“在線時長數據”表,“城市匹配數據”表。 司機數據表 訂單數據表 在線時長數據表 城市匹配數據表

原创 Ubuntu 安裝和使用 jupyter 出現的問題總結

1、在終端中輸入‘sudo pip3 install jupyter’, 出現黃色的‘warring',如下: The directory '/home/stone/.cache/pip/http' or its parent dire

原创 積分圖像(Integral image)

1 問題起源 給定一幅灰度圖像,其灰度值如下圖所示, 要計算圖中深色區域的所有像素點的灰度值之和。 最直接,簡單的方法就是將這9個像素值直接相加。 如果深色區域擴大,裏面包含成千上萬個像素,這種算法的時間複雜度也會呈線性增加。 積分圖像

原创 關於找工作和選專業的思考

個人的成長離不開國家的發展,國家的發展離不開國際的大氣候。 國家之間的競爭主要歸於經濟競爭,經濟的核心在於產業,產業的核心則在於科學和技術。   無論是找工作還是選專業,賭的都是對未來趨勢的預測,沒有人會希望自己在一個即將被淘汰的行業裏工

原创 從技術分工的角度來看996.ICU

最近,Github上996.ICU話題自誕生以來異常火爆, 很多人在網上吐槽程序員工作時間長,Python之父也爲此伸張正義。 有人在網上抱怨資本家黑心,無情的壓榨剝削員工。 各國都存在加班的現象,但似乎加班現象在中國最爲嚴重。 過去

原创 (含Matlab源碼)算術編碼(arithmetic coding)的underflow問題

0、文章結構 文章的行文邏輯如下,看官可以根據需要跳讀,節省時間。 1、介紹underflow和overflow. 2、underflow問題起源 3、underflow問起探索 4、underflow和overflow的常見情形 5、處

原创 (Matlab函數詳解)機器學習中的4種分類算法(LDA、QDA、SVM、KNN)

1、LDA(Linear discriminant analysis) 函數:[class, err]=classify(sample, training, group); 輸入:sample=待測樣本,% 矩陣 m*n m爲樣本數,n爲

原创 從‘一邊拉琴,一邊哭’,看什麼是真正的興趣

記得填報志願時,自己不知道對啥感興趣(現在依然不知道)。那時特別簡單,自己喜歡折騰家裏的舊電器,就自以爲對電子專業非常感興趣。被模電數電(電子方向的專業必修課)折騰一番後,自己確信一點也不喜歡電子,專業課極其無聊,毫無興趣可言。 記得在大

原创 (Python+Tensorflow)編程踩坑集錦

(Python+Tensorflow)編程踩坑集錦 1 開發環境安裝 推薦視頻:https://www.icourse163.org/learn/PKU-1002536002?tid=1452937471#/learn/conte

原创 Ubuntu 安裝 jupyter 出現的問題總結

1、在終端中輸入‘sudo pip3 install jupyter’, 出現黃色的‘warring',如下: The directory '/home/stone/.cache/pip/http' or its parent dire