原创 pyplot.scatter 屬性linewidths 表示散點邊緣線的大小
測試代碼： import numpy as np import matplotlib.pyplot as plt #產生測試數據 x = np.arange(1,10) y = x fig = plt.figure() ax1
2020-06-16 08:48:02
原创 idea如何去掉modifer 'public' is reduntant for interface methods提示
最近使用idea做一個web項目，（以前都是用myeclipse）發現在接口中的方法前加修飾符public會出現modifer 'public' is reduntant for interface methods，這是因爲Java默認接
2020-06-16 08:47:51
原创 貝葉斯網絡(概率圖模型)
概率圖模型分爲貝葉斯網絡和馬爾可夫兩大類。其中貝葉斯網絡是一個有向無環圖結構，而馬爾可夫是一個無向圖結構。本文只講解貝葉斯網絡，馬爾可夫會在後面的博客進行講解。 在開始之前需要複習下概率論的一些公式： 乘法法則： 鏈式法則： 放個例
2020-06-16 08:47:51
原创 Attention注意力機制
Seq2Seq 在開始Attention之前，我們先簡單回顧一下Seq2Seq模型，傳統的機器翻譯基本都是基於Seq2Seq模型來做的，該模型分爲encoder層與decoder層，並均爲RNN或RNN的變體構成，如下圖所示 在enco
2019-06-26 10:16:36
原创 Beam Search集束搜索
在Seq2Seq解碼部分中,常用到Beam Search。每個時刻它會保存b（beam size）個概率最大的選擇作爲當前的最佳選擇，然後解碼下一時刻時，繼續選擇和之前保存的b個選擇組合起來後的概率最大的b個選擇，依次循環迭代下去，直到編
2019-06-14 12:16:49
原创 Seq2Seq模型
在自然語言處理的很多應用中，輸入和輸出都可以是不固定長度的序列。以機器翻譯爲例，例如: 法語輸入：Jane visite l’Afrique en septembre.(長度5) 英語輸出：Jane is visiting
2019-06-14 12:16:49
1
原创 Batch Normalization原理
神經網絡訓練過程的本質是學習數據的分佈,如果訓練數據與測試數據的分佈不同將大大降低網絡的泛化能力;如果某些訓練數據的每批batch數據分佈也不同,則也大大消耗訓練的時間從而使訓練變得低效和複雜。 隨着網絡的進行，每個隱層的參數變化使得後
2019-06-13 03:18:10
原创 理解LSTM和GRU
LSTM，全稱（Long Short Term Memory ,LSTM）長短期記憶網絡。 由於傳統RNN有梯度消失和爆炸的問題，在反向傳播時，梯度最終的結果會趨勢0或無窮，引發嚴重的數值問題，從而參數得不到更新，學習能力有限，在實際任務
2019-06-11 17:31:43
原创 Softmax和關於它的交叉熵損失函數詳細求導過程
首先，先看什麼是Softmax？ Softmax用於多分類中，將多個輸入，映射爲多個輸出，且輸出值都位於（0,1）之間，j假設向量,則Softmax（a） 如下： 而要了解Softmax函數的導數，還需要知道什麼是雅克比矩陣： 雅可比矩
2019-06-11 17:31:43
原创 CNN（卷積神經網絡）在自然語言處理中的應用
本文參考自Convolutional Neural Networks for Sentence Classification，結尾處放上傳送門。 用傳統方法進行文本分類任務時，通常將一篇文檔所對應的tf-idf 向量作爲模型的特徵輸入。但
2019-06-11 17:31:43
1
原创 Bleu淺析
Bleu 全稱爲 bilingual evaluation understudy ,意爲雙語評估替換，是衡量一個有多個正確輸出結果的模型的精確度的評估指標。 下面拿中英機器翻譯做例子： 中文：墊上有一隻老鼠。 參考翻譯1：The cat
2019-06-11 17:31:42
原创 TF-IDF淺析
TF:Term Frequency(詞頻)，是衡量一個term（詞語）在所在文檔中出現的頻率。 TF（t） = (t出現在⽂檔中的次數) / (⽂檔中的詞語總數). IDF:Inverse Document Frequency(逆文本
2019-04-29 19:51:42
3
原创 Rnn的原理
根據達叔的深度學習課程,複習下相關模型,一來分享給大家(大牛請輕噴),二來也方便自己以後查看和複習,因爲ai的東西停一兩個月不看就會忘得很快.廢話不多說,進入正題。 循環神經網絡Rnn是幹什麼的： 普通的神經網絡只能處理單一時刻的數據,而
2019-03-13 02:57:35
原创 pyplot.scatter 屬性linewidths 表示散點的大小
測試代碼：import numpy as np import matplotlib.pyplot as plt #產生測試數據 x = np.arange(1,10) y = x fig = plt.figure() ax1 = fig.
2018-09-05 07:38:50
3