原创 Tensorflow和Keras安裝及應用問題
以下是用Anaconda安裝tensorflow遇到的一些坑。 一：安裝tensorflow 安裝Tensorflow時，需要從Anaconda倉庫中下載，一般默認鏈接的都是國外鏡像地址，這裏用國內清華鏡像，需要改一下鏈接鏡像的地址。
2019-04-02 00:10:54
原创 feature_importances_ - 從決策樹到gbdt
在用sklearn的時候經常用到feature_importances_ 來做特徵篩選，那這個屬性到底是啥呢。 分析gbdt的源碼發現來源於每個base_estimator的決策樹的 feature_importances_
2019-02-27 21:22:16
232
原创 模型監控中的應用--Excel動態圖表和VBA
在監控模型變量的有效性和穩定性時需要看woe變化以及iv變化，可以做成下面的動態圖表，可以同時選擇變量以及監控的指標。 方法如下： 準備數據： 然後，插入數據透視表，行添加爲‘state_date’,列添加爲‘var_clus’,
2019-02-19 20:55:52
19
原创 特徵篩選（變量聚類proc varclus）
在特徵工程篩選變量的時候，我們可以用varclus進行變量的聚類分析來進行降維。 proc varclus “The VARCLUS procedure divides a set of numeric variables into
2019-02-19 06:51:16
38
原创 SVM--從感知機到間隔最大化再到核函數（待完善）
SVM更像是機器學習方法領域的集大成者，相比而言，近來流行的神經網絡其實是個古老的算法， 只是隨着目前計算機性能的提升才又被提起。SVM不好理解，到現在能完整梳理推導出全流程着實費了不少時間和精力。網上的教程也是很多，但覺得講解較好的
2018-09-17 02:48:48
原创 從特徵值分解到奇異值分解
矩陣變換： 先來看下幾何意義，這些圖來源於知乎上的高贊回覆 方陣和向量相乘，從幾何意義上來講，就是對向量作 旋轉、伸縮 變換。 比如對角矩陣M作用在任何一個向量上 其幾何意義爲在水平x方向上方向上拉伸3倍，y方向保持不變的線
2018-09-13 11:24:27
6
原创 實對稱矩陣
實對稱矩陣屬於不同特徵值的特徵向量相互正交，證明如下： 設Ap=mpAp=mp ,Aq=nqAq=nq ,其中A是實對稱矩陣,m,nm,n 爲其不同的特徵值,p,qp,q 分別爲其對應的特徵向量。
2018-09-13 11:24:26
7
原创 數據處理過程中的一些bat批處理命令(一)---語法篇
批處理的常見命令 1、REM 和 :: 加註釋 2、ECHO 和 @ 打開回顯或關閉回顯功能，通常用@echo off 3、PAUSE 暫停 4、GOTO 和 : 5、FI
2018-09-03 00:57:38
原创 數據處理過程中的一些bat批處理命令(二)---實例篇（持續更新。。。）
1、給目錄下所有的文件加上上一級目錄的文件夾名字 setlocal enabledelayedexpansion for /r %%i in (*) do ( if "%%~xi" neq ".bat" ( set "var=%%~d
2018-09-03 00:57:38
原创 使用navicat+mysql 時遇到的一些問題
1、讓別人的能連接到本地主機上的mysql: 實際操作步驟如下： cd mysql安裝目錄\bin mysql -u root -p 123456; mysql > GRANT ALL PRIVILEGES ON . TO ‘r
2018-09-03 00:57:38
原创 python開發環境的設置（anaconda+pycharm）
Anaconda 使用Anaconda安裝python和一些科學計算的包很方便。 這裏先引用下其概述： Anaconda是一個用於科學計算的Python發行版，支持 Linux, Mac, Windows系統，提供了包管理與環境管理的功
2018-09-03 00:57:38
原创 python使用中的一些坑(持續更新中。。。)
pandas篇 1、 通常做數據分析時候會用pandas將數據轉化成dataframe數據框的格式， 如 但是如果遇到只有一行數據的情況 就會報錯：ValueError: If using all scalar value
2018-09-03 00:57:38
原创 使用git管理代碼
1、安裝git 在Windows上使用Git，可以從 Git官網直接下載安裝程序，然後按默認選項安裝即可。安裝完成後，在開始菜單裏找到“Git”->“Git Bash”，出來一個類似命令行窗口的東西，就說明Git安裝成功。 安裝完成後
2018-09-03 00:57:38
原创 類別特徵編碼
特徵工程中通常要處理類別特徵，如學歷、性別、城市等，經常的做法是轉換成dummy變量。會有LabelEncoder、OneHotEncoder、factorize、get_dummies4種方法。 下面進行比較： import pand
2018-09-03 00:57:38
原创 變量分箱預測指標彙總
變量分箱一直採用的都是基於IV（信息值）的分箱，看到其他人有采用基於Gini、chisq、entropy等指標的分箱邏輯，其實效果大同小異，邏輯細細深究也很相似， 但是隨着記憶力衰退，每當其他人突然提起的時候，都要想好一會兒，好記性不如
2018-09-03 00:57:37