原创 OLTR Large-Scale Long-Tailed Recognition in an OpenWorld
《Large-Scale Long-Tailed Recognition in an OpenWorld》 Ziwei Liu1;2 Zhongqi Miao2 Xiaohang Zhan1 Jiayun Wang2 Boqing Gon
原创 使用類內散度與類間散度進行特徵選擇
1.度量類內差異,可以使用方差σ來度量,正類方差和負類方差之和通常也稱爲類內散度 σ1+σ2。度量類間差異可以使用均值距離Δu,通常稱爲類間散度。這可以用作特徵選擇,即在分類過程中,我們希望使用類內差異小、類間差異大的特徵。因此,可以對所
原创 機器學習之對數機率迴歸理解
對數機率迴歸不是迴歸,是分類。 1.對數機率迴歸的形式 由線性迴歸的y=WX轉化爲 y_pre=sigmoid(WX)即是對數機率迴歸 2.對數機率迴歸的名字來由(對數機率優化的本質): 2.1由於上述1中的優化目標是希望預測
原创 機器學習之線性模型的訓練trick
1.正則化 正則化可以使模型有偏好,如在損失函數Loss=loss(y_pre,y)上加入alpha倍的|W|,可以使用優化目標變爲Loss=loss(y_pre,y)+alpha*|W|,這樣得到的參數偏向於較小。 2.非線性的值處
原创 機器學習之線性模型的訓練過程
線性模型的訓練過程 1.初始化模型 包括初始化 模型參數W 和 b,使得對任意X可以通過 y=WX+b得到y的結果。 2.準備好數據集,即用於訓練的X和Y 3.開始訓練 3.1向前傳播 計算y_pre=WX+b
原创 數據預處理——特徵值預處理
對於連續屬性: 1.歸一化 x=(x-min(X))/(max(X)-min(X)) 對於離散屬性: 1.序關係 如身高的高、中、低分別轉化爲 1,0.5,0 2.非序關係 如是否購買蘋果、梨、香蕉 可以轉化爲 (1,0,0)
原创 學習異常檢測
異常檢測:將正常數據建模,正常數據以外的都是異常數據 常用方法:AE,統計模型,ocsvm,svdd 存在問題:不能發現新的正常數據,即新的正常數據會被分爲異常(假陽率,誤報) 濫用檢測:將異常數據建模,異常數據以外的都是正常數據 常
原创 西瓜書的集成學習
所謂集成學習,就是集成多個個體學習器來完成同一個任務,集成的方式可以是投票、加權什麼的,這裏的個體學習器可以是決策樹、神經網絡、樸素貝葉斯、SVM等。集成學習針對弱學習器(略強於瞎猜的學習器)的效果更爲明顯,因此通常這裏的
原创 簡單學習tensorflow mnist數字識別
from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf mnist=input_data.read_data_sets("D:
原创 tensorflowf基礎
tensorflow:計算圖 、會話 1.計算圖 :張量、流 1.1 g1=tf.Graph() 1.2張量tensor tensor常量、變量、placeholder 1.3流flow 1.4運算:
原创 python 線性迴歸
from numpy import * import numpy as np # 導入數據集 def sigmoid(inX): return 1.0 / (1 + np.exp(-inX)) def gradAscent(dat