原创 循環神經網絡——裁剪梯度（應對梯度爆炸）
循環神經網絡中比較容易出現梯度衰減或梯度爆炸，爲了應對梯度爆炸，可以進行裁剪梯度。假設把所有模型參數梯度的元素拼接成一個向量g，並設裁剪的閾值是θ\thetaθ。裁剪後的梯度min(θ∣∣g∣∣,1)gmin(\frac{\the
2020-02-27 10:15:09
原创 自然語言處理——語言模型
1.語言模型 語言模型是自然語言處理的重要技術。自然語言處理中最常見的數據是文本數據。我們可以把一段自然語言文本看做一段離散的時間序列。假設一段長度爲T的文本中的詞依次爲w1,w2,...,wTw_1,w_2,...,w_Tw1
2020-02-27 10:15:09
原创 np.c_和np.r_的用法解析
np.r_是按列連接兩個矩陣，就是把兩矩陣上下相加，要求列數相等。 np.c_是按行連接兩個矩陣，就是把兩矩陣左右相加，要求行數相等。 具體見示例： .np.c_的用法 a = np.array([[1, 2, 3],[7,
2020-02-27 10:15:09
3
原创 自然語言處理 —— 困惑度
我們通常用困惑度（perplexity）來評估語言模型的好壞。可以探索一下交叉熵損失函數的定義。困惑度是對交叉熵損失函數做指數運算後得到的值。特別地： 最佳情況下，模型總是把標籤類別的概率預測爲1，此時困惑度爲1； 最壞情況下，
2020-02-27 10:15:09
3
原创 集成學習
集成學習是一大類模型融合策略和方法的統稱，其中包含多種集成學習的思想。集成學習通過構建並結合多個學習器來完成學習任務，有時也被稱爲多分類系統、基於委員會的學習等。 上圖顯示出集成學習的一般結構：先產生一組“個體學習器”，再用某種
2020-02-27 10:15:09
原创 改善深層神經網絡：超參數調整、正則化以及優化——2.8 Adam算法（Adaptive Moment Estimation）
Adam算法是Momentum和RMSprop結合在一起得到的。使用Adam算法，首先要初始化Vdw=0,Sdw=0,Vdb=0,Sdb=0V_{dw}=0,S_{dw}=0,V_{db}=0,S_{db}=0Vdw=0,Sdw
2020-02-27 10:15:09
原创 kaggle比賽——房價預測
Kaggle比賽的網址是https://www.kaggle.com/c/house-prices-advanced-regression-techniques，需要進行一定的操作才能進去。 根據比賽所給數據，可以得到解決問題的思
2020-02-27 10:15:09
原创 總體方差和樣本方差
在統計描述中，方差用來計算每一個變量*（觀察值）與總體均數之間的差異。爲避免出現離均差總和爲零，離均差平方和受樣本含量的影響，統計學採用平均離均差平方和來描述變量的變異程度。總體方差計算公式：σ2=∑(X−μ)2N\sigma^2
2020-02-27 10:15:09
原创 softmax運算
一、softmax運算 分類問題需要得到離散的預測輸出，一個簡單的辦法是將輸出值oio_ioi當做預測類別是i的置信度，並將值最大的輸出所對應的類作爲預測輸出，即輸出argmaxioiargmax_io_iargmaxioi
2020-02-27 10:15:09
原创 kaggle比賽數據清洗方法
數據清洗的定義： 對數據進行重新審查和校驗的過程，目的在於刪除重複信息、糾正存在的錯誤，並提供數據一致性； 數據清洗的難點： 數據清洗一般針對具體應用，因而難以歸納統一的方法和步驟，但是根據數據不同可以給出相應的數據清理方法； 數
2020-02-27 10:15:09
原创 python編程之路——類和對象
一、類的用法 1.1 類的構造 類即類別、種類，是面向對象設計最重要的概念，對象是特徵和技能的結合體，而類是一系列對象相似的特徵與技能的結合體。 在程序中，務必保證先定義類，後產生對象。 類和函數的使用是類似的，先定義函數，後調用
2020-02-27 10:15:09
原创 改善深層神經網絡：超參數調整、正則化以及優化 —— 3.2 爲超範圍
上一節已經看到，在超參數範圍內，隨機取值可以提升搜索效率，但隨機取值並不是在有效範圍內的隨機均勻取值，而是選擇合適的標尺用於探究超參數。 假設要選取隱藏單元的數量n[l]n^{[l]}n[l]，對於給定層，假設選擇的取值範圍是從5
2020-02-27 10:15:09
原创 如何理解協方差矩陣？PCA降維是怎麼使用到協方差矩陣的？
1.統計學的基本概念 統計學裏最基本的概念就是樣本的均值、方差、標準差。首先給定一個含有n個樣本的集合，下面給出這些概念的公式描述： 均值：x‾=∑i=1nxin\overline{x}=\frac{\sum_{i=1}^nx_
2020-02-27 10:15:09
原创 pytorch中的torch.rand(),torch.randn(),torch.randerm()的關係
1. torch.rand() torch.rand(*sizes, out=None) → Tensor 返回一個張量，包含了從區間[0,1)的均勻分佈中抽取的一組隨機數，形狀由可變參數sizes 定義。 1.1 參數 siz
2020-02-27 10:15:09
2
原创 jupyter notebook代碼自動完成功能
在代碼頂部添加%config IPCompleter.greedy=True這一行並且shift+回車運行，對於接下來運行過的內容都會被列入自動提示中。 按Tab鍵彈出自動提示 如下圖，輸入my然後Tab鍵就彈出上面自定義的兩個變
2020-02-27 10:15:09