原创 Fisher線性判別分析

(1)高維特徵的兩類線性判別問題可以看作是把所有樣本都投影到一個方向上,然後在這個一維樣本空間中確定一個分類的閾值。過這個閾值點且與投影方向垂直的超平面就是兩類的分類面。 (2)由(1),我們可知,所謂分類就是要尋找一個投影方向w(),使

原创 SVM簡介及簡單推導

(1)最優超平面的定義:一個超平面,如果它能夠將訓練樣本正確地分開,並且兩類訓練樣本中離超平面最近的樣本與超平面之間的距離最大,則這個超平面被稱作最優超平面。其中,樣本中離分類面最近的樣本到分類超平面的距離被稱作分類間隔。 (2)對於超平

原创 實現對數組和鏈表的快速排序

       在前面的博客中,已經寫了關於數組和鏈表的選擇排序、冒泡排序和插入排序。在這裏,再次補充快速排序。快排的應用場景很多,其中面試中廣泛使用的就是在無序數集中查找第K個大(或小)的數值。下面,我們來處理一下該排序:        

原创 轉: 張量分解 二

張量介紹張量(tensor)是一個多維的數據存儲形式,數據的的維度被稱爲張量的階。它可以看成是向量和矩陣在多維空間中的推廣,向量可以看成是一維張量,矩陣可以看成是兩維的張量。下面是一個三階張量的例子,它有三維即3個mode值得注

原创 轉:張量分解(一):基礎知識

[原地址]https://blog.csdn.net/Flying_sfeng/article/details/80817904 前段時間在組裏分享了張量分解相關的知識,現在想把它整理成一個系列,供有需要的同學閱讀。 下文根據Te

原创 牛頓法實現開方函數

在招聘會中,很多面試官會要求應聘者手寫代碼。其中,C++手動實現sqrt()函數是一個非常常見的題目。這裏,我們來爲大家進行C++實現。具體的理論知識,大家可以自行搜索。 //C++重寫sqrt()函數 #include <iomani

原创 C++實現數字拆分(拆分的組合數量)

整數拆分的方法有很多種,比如下面的理論知識: http://www.cnblogs.com/hadilo/p/5733305.html http://blog.chinaunix.net/uid-26548237-id-3503956.h

原创 在數據預處理中,如何填充缺失值?如何判斷異常值?

缺失值的處理: (1) 刪除缺失值; (2) 填補缺失值:        <1>均值法填補        根據缺失值的屬性相關係數最大的那個屬性把數據分成幾個組,然後分別計算每個組的均值,把這些均值放入到缺失的數值裏面就可以了。    

原创 K-means聚類

K-means是一種常見的無監督分類器。其主要思想是: 1)假設有n個樣本,選出k個樣本,作爲初始質心; 2)計算剩下n-k個樣本分別距離k個質心的距離,每個樣本將屬於距離最近的那個質心所在的類; 3)這樣對n個樣本進行了簡單的分類,得到

原创 圖像數據增強

在做深度學習時,我們時常感覺到數據量不足。那麼,怎麼增加數據量呢?很明顯,數據增強是一個不錯的方法。下面我們調研了數據增強的一般方法,供讀者參考: Color Jittering: 對顏色的數據增強: 圖像亮度、 飽和度、 對比度變化(

原创 Bagging和Boosting

Bagging: Bagging基於自助採樣法。給定包含m個樣本的數據集,先隨機取出一個樣本放入採樣集中,再把該樣本放回初始數據集,使得下次採樣時該樣本仍有可能被選中。這樣,經過m次隨機採樣操作,我們得到含m個樣本的採樣集,初始訓練集中有

原创 決策樹

今天抽空補充一下決策樹的相關知識: 決策樹的種類及區別: 決策樹以自頂向下遞歸的分治方式進行構造。從訓練元組集和它們相關聯的類標號開始構建決策樹。隨着樹的構建,訓練集遞歸地劃分成較小的子集。 ID3:使用信息增益作爲屬性選擇度量(偏向於選

原创 生成模型與判別模型

參考文獻:https://blog.csdn.net/u012101561/article/details/52814571 生成模型特點: 生成模型估計的是聯合概率分佈,p(y, x)=p(y|x)*p(x),由數據學習聯合概率密度分佈

原创 C++實現簡單的文件的讀寫

這裏的代碼只是自己的筆記,也供別人參考。但請勿噴。 //C++實現文件讀取 #include <fstream> int CountLines(const char *filename)//獲取文件的行數 { ifstream

原创 python中的編碼以及解碼問題(中文字符處理以及文件處理的某些注意事項)

        參考文獻:     http://bbs.chinaunix.net/thread-1431029-1-1.html     http://blog.csdn.net/devil_2009/article/details