原创 Elastic Weight Consolidation(EWC) for Life long Learning
Life Long learning 連續學習的概念大概是在2016年以後纔開始流行的，雖然今天的工業界中幾乎都是使用一個或多個模型對應一個任務，但是爲了讓機器更像人，讓機器能同時解決多個任務，同時把過去的知識運用到新的任務上，也
2020-04-12 15:33:40
80
原创 基於DANN的圖像分類任務遷移學習
注:本博客的數據和任務來自NTU-ML2020作業，Kaggle網址爲Kaggle. 數據預處理 我們要進行遷移學習的對象是10000張32x32x3的有標籤正常照片，共有10類，和另外100000張人類畫的手繪圖，28x28x1
2020-04-12 15:33:40
10
原创 GBDT算法解釋與Python實現
迴歸樹 統計學習的部分也差不多該結束了，我希望以當前最效果最好的一種統計學習模型，Xgboost的原型GBDT來結尾。 GBDT的基礎是CART決策樹。在CART基學習器上使用boosting，形成更好的集成學習器，就是GBDT的
2020-04-06 08:55:41
1
原创 深度模型的優化方法
優化大型神經網絡時，訓練速度已經成爲了制約神經網絡應用的因素。簡單的SGD方法和mini-batch方法在簡單的問題上表現很好，而且動手實現時是簡單的，但是今天的大型網絡對優化方法的要求越來越高。我們必須找到優秀的優化方法來進一步
2020-04-06 08:55:41
1
原创 可視化CNN
深度學習的可解釋性一直是比較差的，因爲神經網絡不像傳統算法，可以明確的被解釋機器爲什麼下某種判斷，做某種分析。比如決策樹，就可以直接告訴你因爲XX特徵是XX，所以我們把它歸爲某類。又或者SVM，因爲訓練集中的X1和X2是支持向量，
2020-04-06 08:55:41
2
原创 基於自編碼器實現無監督異常檢測系統
作爲自編碼器的入門項目，我實現了一個無監督的異常檢測系統，傳統的異常檢測手段有很多，在有監督時可以單純用多分類問題來判別異常，也可以用高斯聚類來幫助判別異常出現的概率。這裏如果要實現無監督學習的異常檢測，一種方法是藉助數據降維和聚
2020-04-06 08:55:41
4
原创 深入理解支持向量機(SVM) 用梯度下降法和SMO算法實現SVM
在各種各樣強大的神經網絡被提出之前，SVM在機器學習領域一直是走在前列的模型；尤其是在數據規模較小時，SVM的特性能夠有效保證模型不會出現嚴重的過擬合，從而提升模型表現。即使在今天，儘管GBDT和各式各樣的深度學習模型大行其道，S
2020-04-01 05:20:09
1
原创 BPTT算法的推導和simpleRNN的實現
BPTT算法 簡單RNN的結構如下圖所示，它在普通的三層全連接網絡上做出了改動，也就是在每次前饋運算的時候，考慮上一次的輸出。 這個因素的引入讓RNN變得能夠根據上文得到輸出，即不同的輸入序列將會對應不同的輸出。 上面的模型寫出
2020-03-14 05:14:44
原创 動手學深度學習2——實現卷積層和池化層
卷積神經網絡 卷積神經網絡是一種主要用於圖像識別和分類的網絡，也可以用於其他的領域，比如文本處理和alphago下棋。CNN是經典的深度學習網絡，它的靈感來源於對生物的視覺系統的研究，卷積神經網絡是受生物學上感受野的機制而提出的，
2020-03-10 06:21:08
原创 中山大學人工智能實驗2 15-Puzzle Problem
描述 算法 任務 解決方案(Python) class pos: def __init__(self,x,y): self.x = x self.y = y import rando
2020-03-06 13:14:25
原创 中山大學人工智能實驗12 EM Algorithm (C++/Python)
描述 算法 任務 代碼 #讀取football文件，其中的數據是7維的x，表示歷年的世界盃和亞洲盃排名 dataSet = [] Country = [] fr = open("Football.txt") for line
2020-03-06 13:14:25
3
原创 中山大學人工智能實驗4 Futoshiki Puzzle ( Forward Checking)
描述 解決方案 #棋盤給定的值 board = [ [0,0,0,7,3,8,0,5,0], [0,0,7,0,0,2,0,0,0], [0,0,0,0,0,9,0,0,0], [0,0,0,4
2020-03-06 13:14:25
原创 中山大學人工智能實驗13 BP Algorithm (C++/Python)
BP算法雛形 class NeuralNetwork: LEARNING_RATE = 0.5 def __init__(self, num_inputs, num_hidden, num_outputs, hid
2020-03-06 13:14:25
原创 中山大學人工智能實驗6 Queries on KB
問題描述 知識庫文件 Restaurants.pl restaurant(mixuebingcheng,1998,drinks). restaurant(muwushaokao,2003,barbecue). restauran
2020-03-06 13:14:25
1
原创 中山大學人工智能實驗1 Maze Problem
題目 解析與代碼 迷宮文件 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % S% % %%%%%%%%%%%%%%%%%%%%%%%
2020-03-06 13:14:25