原创 python 時間戳與時間相互轉化

時間戳轉化爲時間: # -*— coding:UTF-8 -*- import numpy as np import time # 時間戳數據 timestamplist = np.array([1502390000000, 14944

原创 numpy ndarray 按條件篩選數組,關聯篩選

最近的項目中大量涉及數據的預處理工作,對於ndarray的使用非常頻繁。其中ndarray如何進行數值篩選,總結了幾種方法。 1.按某些固定值篩選 如下面這段代碼從,ndarray中可以篩選出數值等於3的子數組和其在原數組中的索引位置。

原创 scikit-learn決策樹算法庫使用小結

1. scikit-learn決策樹算法庫類庫介紹 scikit-learn決策樹算法類庫內部實現是使用了調優過的CART樹算法,既可以做分類,又可以做迴歸。分類決策樹的類對應的是DecisionTreeClassifier,而回歸決策樹

原创 提取興趣點作爲特徵(extracting points of interest as features)

我們先前創建的特徵向量表示圖像中的每個像素;表示圖像的所有信息屬性,並表示所有噪聲屬性。檢查訓練數據後,我們可以看到所有的圖像都有一個白色像素的周長;這些像素不是有用的功能。人類可以快速識別許多物體,而不需要觀察物體的每個屬性。我們可以從

原创 問題解決:SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame

SettingWithCopyWarning 解決方案 問題場景:我在讀取csv文件之後,因爲要新增一個特徵列並根據已有特徵修改新增列的值,結果在修改的時候就碰到了SettingWithCopyWarning這個警告,花了很長時間才解決這

原创 期望最大化算法(The EM algorithm)

在上一章中,我們爲了解決擬合混合高斯模型的擬合問題已經接觸了EM算法。這一章裏,我們會進一步擴展EM算法的應用,你會發現它可以用於解決一大類包含隱參數的估計問題。讓我們從Jensen不等式開始我們的討論。 1 Jensen 不等式 設f

原创 最小均方差的概率闡述(Probabilistic interpretation)

當面對一個像線性迴歸的迴歸問題時,爲什麼最小方差成本函數是一個好的解決方案呢?在這一節的內容,我們通過概率論的視角會發現最小方差迴歸是一個很自然的算法。 我們不妨假設,目標變量與輸入變量有如下關於: y(i)=θTx(i)+ϵ(i), 上

原创 局部權重線性迴歸(Locally weighted linear regression)

我們先看一組圖片: 這是給出一組實數輸入x∈R 後,對目標函數y的估計。最左邊的圖用y=θ0+θ1x 去擬合數據。但我們看到大部分訓練樣本並不在這條直線上,擬合的效果不好。中間的圖改用y=θ0+θ1x+θ2x2 來擬合數據情況就好很多

原创 secureCRT 常用命令

常用命令 ls 列出文件名(相當於dir,也可以使用dir) -A : 列出所有文件,包含隱藏文件。 -l : 列表形式,包含文件絕大部分屬性。(相當於ll) -R : 遞歸顯示。 –help : 此命令的幫助。 cd 改變目錄

原创 最優間隔分類器(一)

通過前三章的討論,當我們拿到一給定數據集時第一要務是尋找一條分界線時分界線兩邊的點到線的(幾何)間隔最大,達到這一要求即認爲這是個好的分類器。這樣的分類器會在正負樣本間畫出一個斷層(幾何間隔)。 現在我們又一個線性可分的訓練集(即存在一

原创 統計學習方法概論

1.1 統計學習 1. 統計學習的特點 統計學習(statistical learning)是關於計算機基於數據構建概率統計模型並利用模型進行分析與預測的一門學科。統計學習也稱爲統計機器學習(statistical machine lea

原创 感知機模型原始問題與對偶問題對比

原始問題 由上圖可知,感知機模型優化是每次迭代發現誤分類點後通過學習率對權值ωω 和b的更新。 而感知機對偶問題則將ωω 的更新替換爲αi,i=1,2,…,Nαi,i=1,2,…,N 的更新,計算每個誤分類點出現的次數。 誤分類條件y