原创 神經網絡正則化方法總結——Dropout
前言 隨着發展，深度神經網絡的結構越來越複雜，學習能力也相應提高。我們當然會覺得神經網絡的學習能力越強越好，這樣才能解決一些棘手問題。但對於有限的訓練數據，由於強大的學習能力，神經網絡會把訓練集中的特徵照單全收（儘管其中有些特徵包
2020-07-03 01:05:32
原创 邏輯斯諦迴歸與最大熵模型（Logistic Regression and Maximum Entropy Model）
前言 邏輯斯諦迴歸（logistic regression）是機器學習中的經典分類方法，可用於二類或多類分類；最大熵原理是概率學習或估計的一個準則，最大熵原理認爲在所有可能的概率模型的集合中，熵最大的模型是最好的模型。將其推廣到分
2020-07-03 01:05:32
原创 Sigmoid型函數梯度消失 、“死亡”ReLUs 和 RNNs梯度爆炸問題
Sigmoid型函數的梯度消失問題 基礎知識 sigmoidsigmoidsigmoid 是一種函數類型，具有函數圖形爲S型曲線，單增，反函數也單增，而且輸出值範圍爲（0,1）等特點，但其一般被默認爲是 logisticlogis
2020-07-03 01:05:32
1
原创 最大似然估計與最大後驗估計之間的聯繫
最大似然估計（Maximum Likelihood Estimation，MLE） 和 最大後驗估計（Maximun A Posterior，MAP） 都是根據已知的觀測數據估計出概率分佈模型的參數的方法。這裏的概率分佈模型可以是
2020-07-03 01:05:32
原创 證明：矩陣不同特徵值對應的特徵向量之間線性無關
前言 學習矩陣對角化（diagonalization）時需要了解一個定理：不同特徵值對應的特徵向量線性無關。我們知道，一個 n 維矩陣是否可以對角化取決於其是否具有 n 個線性無關的特徵向量。所以，在上面的定理的基礎上可以得出結論
2020-07-03 01:05:32
原创 MyBatis Generator XML 配置文件使用參考
這篇文章是對 MyBatis Generator 官網中 XML 配置文件相關內容的大致翻譯。 MyBatis Generator（MBG）由XML配置文件驅動。配置文件會告知 MBG： 如何連接數據庫 哪些對象需要被生成，以及如何生成它
2020-07-03 01:05:32
原创 爲什麼 dot-product attention 需要被 scaled？
前言 注意力機制也有很多種類，不同的注意力機制對應着不同的對齊分數（alignment score）計算方式。有關注意力機制的總結，大家可以看看這篇博客：Attention? Attention! 在 Attention Is A
2020-07-03 01:05:32
2
原创 numpy.array 以整數數據初始化數組後造成的精度損失問題
在使用 numpynumpynumpy 的 arrayarrayarray 類型數據時發現一問題，情況如下： 問題 首先我創建一個其中元素均爲整數，且沒有指定數據類型的一維數組： a = np.array([2,3,4,5]）
2020-07-03 01:05:32
原创 使用 c#_ArcEngine遇到的一些問題
窗體form.Show()與form.ShowDialog() Show() 是非模式窗體，而 ShowDialog() 是模式窗體. ShowDialog() 在未按確定等鍵時(即未消失時)，無法在桌面進行其他操作，只有 dia
2020-07-03 01:05:32
原创 深度學習（特別是 NLP 自然語言處理領域）的一些學習資源（保持更新）
自然語言處理 這篇 博客 推薦了一些針對 樣本不均衡的分類問題 的書籍、論文和工具庫： https://machinelearningmastery.com/resources-for-imbalanced-classifica
2020-07-03 01:05:32
原创 證明：對於實對稱矩陣，不同特徵值對應的特徵向量相互正交
前言 不同特徵值對應的特徵向量相互正交，是實對稱矩陣的一個重要屬性，而且從這個屬性出發可以證明實對稱矩陣的另一個屬性：實對稱矩陣必可相似對角化。如果一個 n 維矩陣的不同特徵值對應的特徵向量相互正交，那麼這個矩陣不同特徵值對應的特
2020-05-24 03:19:34
2
原创 證明：當且僅當 AB=BA 時，可對角化矩陣 A 與 B 具有相同的特徵向量
當且僅當 AB=BA 時，可對角化矩陣 A 與 B 具有相同的特徵向量 也就是說， AB=BAAB=BAAB=BA 是 兩個可對角化矩陣 A 與 B 具有相同特徵向量的充分且必要條件。 先證 必要性： 假設可對角化矩陣 A 與 B
2020-05-24 03:19:34
10
原创 證明：矩陣 AB 與 BA 具有相同的特徵值
矩陣 AB 與 BA 具有相同的特徵值 可以從兩個方面證明該定理，第一種，藉助相似矩陣擁有相同特徵值的結論進行（要求 A,BA,BA,B 是可逆的）；第二種，則從公式 ABx=λxABx=\lambda xABx=λx 着手。 先
2020-05-24 03:19:34
原创 爲什麼矩陣不同特徵值對應的特徵向量之間線性無關
前言 學習矩陣對角化（diagonalization）時需要了解一個定理：不同特徵值對應的特徵向量線性無關。我們知道，一個 n 維矩陣是否可以對角化取決於其是否具有 n 個線性無關的特徵向量。所以，在上面的定理的基礎上可以得出結論
2020-05-20 21:45:32
原创 線性代數部分定理的整理
在學習 《Pattern Recognition and Machine Learning》和 《Linear Algebra and Its Applicaition》過程中，對這兩本書上出現的一些定理進行（不完整）整理。 對稱
2020-04-20 12:55:00
2