原创 第17條 在參數上迭代時,要多加小心

如果函數接收的參數是個對象列表,那麼很有可能要在這個列表上進行迭代。 案例1:統計每個城市旅遊的人數,以及百分比 ### 標準化函數 def normalize(number): total = sum(number)

原创 EDA 分析

分析數據-設置驗證集-檢查數據泄露 分析步驟: 瞭解領域知識 搜索關鍵詞,搜索數據的含義 檢查數據是否存在異常值,超出範圍的值 理解如何生成特徵 分析匿名數據(Anonymized data)         對於某些數據

原创 第39條 用Queue來協調各個線程之間的工作

Python中使用Queue實現多個線程之間的通訊。 例如,現在要構建一個照片處理系統,其分爲三個階段:download、resize、和upload階段。屬於典型的生產者-消費者模型。 首先,創建一個自定義的隊列數據結構MyQu

原创 FM &FFM:深入理解FM與FFM

0.引言 針對類別變量進行oner-hot編碼後的高維稀疏矩陣M,可以表示如下: 可以看出,經過One-Hot編碼之後,大部分樣本數據特徵是比較稀疏的, One-Hot編碼的另一個特點就是導致特徵空間大。例如,電影品類有550維特徵,一

原创 第9條 用生成器表達式改寫數據量比較大的列表推導

前面我們談到,利用列表推導來代替map和filter,但是當數據量比較大時,使用列表推導需要把數據全部加載到內存當中,會消耗大量內存,導致程序崩潰。 下面讀取文件中的數據,此種方式只適合文件小的情況下,當文件較大時,open()操

原创 高級特徵工程

均值編碼(mean ecoding) 1)有監督類型的編碼方式:根據label進行編碼,在類別Moscow中的feature_mean = #(target=1)/#Moscow(注意與frequency encoding編碼的區別)

原创 第33/34條 用元類驗證和註冊子類

1.元類的定義 Python定義元類時,需要從type類中繼承,然後重寫__new__方法,便可以實現意想不到的功能。 class Meta(type): def __new__(meta,name,bases,class

原创 Keras自定義模型

1. 函數式 API(Function API) tf.keras.Sequential 模型是層的簡單堆疊,無法表示任意模型。 inputs = tf.keras.Input(shape=(32,)) # 構建一個輸入張量

原创 度量方法:PR & F1 & AUC

1. Precision an Recall   計算公式: precion=TPTP+FPprecion = \frac{TP}{TP+FP}precion=TP+FPTP​ recall=TPTP+FNrecall = \f

原创 遺傳算法優化二次離散系統

##遺傳算法實現二次離散系統優化 1.編寫適應度函數如下: function y = fitness(u) [rows,cols] = size(u); x = 100*ones(rows,cols+1); sum = 0; f

原创 RBF+PID參數自整定控制器設計

##RBF網絡實現PID參數自整定 代碼如下 clear; clc; %% 參數初始化 lr=0.1;%學習速率 beta=0.05;%動量因子 x=[0,0,0]';%初始化輸入 nn=6;%隱含層節點數 %RBF網絡

原创 卷積網絡padding操作理解

卷積神經網絡padding的理解: 之前對卷積網絡中padding操作一直存在錯誤理解,以爲padding=SAME表明圖像的輸入和輸出尺寸一樣大,但是最近看了一些論文和資料後發現之前的理解錯誤,在strides不等於1的情況下,

原创 神經網絡控制器設計

##智能控制之神經網絡控制器設計 **可以看出:**在保證網絡層數不變的情況下,提高單層的網絡節點數,可以提高神經網絡的逼近能力。同理,從表2中而可以看出,提高網絡的層數也可以提高網絡的逼近能力,但是過高的提高網絡的節點