原创 淺談L2正則化爲什麼有效
L2正則化爲什麼有效 無論是學過機器學習還是深度學習的同學一定知道正則化可以緩解過擬合，最常用的就是L2正則化，即在損失函數J(θ)J(\theta)J(θ)上加上參數的L2範數λ∣∣θ∣∣2\lambda||\theta||_{
2020-06-09 19:58:58
原创 Tensorflow簡單操作入門
創建constant constant_v = tf.constant(數值, name='constant_v') #example X = tf.constant(np.random.randn(3,1),name = 'X'
2020-06-02 13:53:34
原创 自然語言推理入門：ESIM
Enhanced LSTM for Natural Language Inference ESIM是ACL2017的一篇論文，在當時成爲各個NLP比賽的殺器，直到現在仍是入門自然語言推理值得一讀的文章。 本文根據ESIM原文以及p
2020-05-06 01:52:28
1
原创 深度知識追蹤入門
背景介紹 知識追蹤（Knowledge Tracing）是根據學生過去的答題情況對學生的知識掌握情況進行建模，從而得到學生當前知識狀態表示的一種技術，早期的知識追蹤模型都是依賴於一階馬爾科夫模型，例如貝葉斯知識追蹤（Bayesia
2020-04-25 16:10:07
9
原创 反諷檢測(Sarcasm Detection)
最近在看反諷檢測的文章，纔讀了幾篇，寫一下小結，看得還是挺費勁，也挺懵的，寫個閱讀筆記，讓自己好好重新理解一下。 Towards Multimodal Sarcasm Detection 第一篇讀的是Towards Multimo
2020-02-24 13:58:05
15
原创 使用pytorch和torchtext進行文本分類
使用pytorch和torchtext進行文本分類 文本分類是NLP領域的較爲容易的入門問題，本文記錄我自己在做文本分類任務以及復現相關論文時的基本流程，絕大部分操作都使用了torch和torchtext兩個庫。 1. 文本數據預
2019-10-28 09:22:24
56
原创 利用pytorch和torchtext預處理數據
pytorch 廣播矩陣 當自定義矩陣來和一個 batch 的數據 X 做乘法的時候，設X.shape = [batch_size, dimx, dimy]，那麼自定義的矩陣 W.shape = [input_dim, outpu
2019-07-11 08:28:02
16
原创 TPYBoard v202學習筆記（1）
查看文件 import os os.listdir() 打開文件 # 只讀方式打開main文件 f = open('main.py', 'r') f.read() # 操作結束記得close釋放資源 f.close() 查看內存資
2018-11-20 02:23:25
2
原创 如何將cifar-10數據集的圖片轉化爲227*227像素以供Alexnet訓練
下載cifar-10數據集 官網地址：http://www.cs.toronto.edu/~kriz/cifar.html 這是從官網下載好的python版cifar-10數據集 加載cifar-10數據集 def load_fil
2018-10-10 02:06:03
8
原创 線性迴歸（logistic regression）
單變量線性迴歸 本文以單變量線性迴歸爲例，且變量爲一次方，多變量只需要增加變量x1，x2······的個數，變量x也可以有更高的次方。 h代表假設函數 theta代表參數 x代表輸入變量 y代表標籤 J代表損失函數 目標即爲通過改變
2018-10-04 02:02:06
2
原创 評估機器學習項目性能的指標
單一數字評估指標（Single number evaluation metric） 查全率（recall）與查準率（precision） 評估機器學習項目的性能的指標最常用的有兩個，分別是查全率和查準率。 假如你做了兩個識別貓的分類器
2018-09-17 06:49:13
原创 正交化（Orthogonalization）
正交化（Orthogonalization） 機器學習中可以調整的參數非常多，比如電視機上的按鈕，有調整圖像高度的旋鈕，調整寬度的旋鈕，以及調亮度，對比度等各種旋鈕，互不影響。 在旋每一個旋鈕時，你都清楚的知道自己在調整什麼，會得到什
2018-09-17 06:49:13
3
原创 深度學習——學習率衰減(learning rate decay)
學習率衰減(learning rate decay) 爲了防止學習率過大，在收斂到全局最優點的時候會來回擺盪，所以要讓學習率隨着訓練輪數不斷按指數級下降，收斂梯度下降的學習步長。 學習率衰減可以用以下代碼實現 decayed_learn
2018-09-09 21:24:55
50
原创 機器學習的偏差(bias)和方差(variance)問題
減少偏差 偏差過大又稱欠擬合（underfitting），原因通常是： 模型太過簡單，無法很好地擬合樣本點。 訓練集太小。 訓練輪數太少，即訓練時間太短。 解決的辦法自然是： 使用更復雜的模型，在神經網絡中增加隱藏層或隱藏單元。 增
2018-09-09 21:24:55
原创 Cousera--Tensorflow tutorial
創建constant constant_v = tf.constant(數值, name='constant_v') #example X = tf.constant(np.random.randn(3,1),name = 'X') y
2018-09-06 00:47:17
1