原创 TensorFlow出現Found Inf or NaN global norm的排查和解決辦法
在訓練神經網絡的時候，由於一些原因會出現NaN或者Inf，致使訓練終止。在查閱相關資料之後，並且結合我出現的問題，做了一些總結。出現的代碼在TensorFlow 1.12.2版本可正常執行。 出現問題的原因 出現NaN或者Inf的
2020-07-02 22:43:37
原创 CS224n 深度自然語言處理(三) Note - Word Window Classification, Neural Networks
本文爲筆者學習CS224N所做筆記，所包含內容不限於課程課件和講義，還包括筆者對機器學習、神經網絡的一些理解。所寫內容難免有難以理解的地方，甚至可能有錯誤。如您在閱讀中有疑惑或者建議，還望留言指正。筆者不勝感激！ 分類問題 一般而
2020-07-02 22:43:37
原创 知識圖譜表示學習 TransE: Translating Embeddings for Modeling Multi-relational Data
知識圖譜表示學習 TransE: Translating Embeddings for Modeling Multi-relational Data 表示學習是深度學習的基礎，將數據用更有效的方式表達出來，才能讓深度學習發揮出更強
2020-07-02 22:43:27
原创 CS224n 深度自然語言處理(四) Note - Backpropagation and computation graphs
本文爲筆者學習CS224N所做筆記，所包含內容不限於課程課件和講義，還包括筆者對機器學習、神經網絡的一些理解。所寫內容難免有難以理解的地方，甚至可能有錯誤。如您在閱讀中有疑惑或者建議，還望留言指正。筆者不勝感激！ 在本章中，將着重
2020-07-02 22:43:27
原创 知識圖譜表示學習 TransH: Knowledge Graph Embedding by Translating on Hyperplanes
知識圖譜表示學習 TransH: Knowledge Graph Embedding by Translating on Hyperplanes 表示學習是深度學習的基礎，將數據用更有效的方式表達出來，才能讓深度學習發揮出更強大的
2020-07-02 22:43:27
原创 Python內置庫collections使用集錦
collections中有以下類 Class name Description namedtuple 用於創建具有命名字段的元組子類的工廠函數 deque 類似列表的容器，兩端都有快速追加和彈出 ChainM
2020-07-02 22:43:27
原创 CS224n 深度自然語言處理(一) - Introduction and Word Vectors
單詞的含義 如何定義一個單詞的意思？通過韋伯字典對於單詞”meaning"的解釋來看，有如下幾點 單詞或者短語呈現的意思。 人想要通過短語、符號表達的實際含義。 文章、藝術作品呈現的想法。 故最普通對meaning的理解，其實
2020-04-20 05:28:42
原创 CS224n 深度自然語言處理(二) Note - Word Vectors 2 and Word Senses
文章目錄Global Vectors for Word Representation(GloVe)Comparison with Previous MethodsCo-occurrence MatrixLeast Square O
2020-04-20 05:28:42
原创 數據結構實驗5-哈夫曼編碼
文章目錄實驗內容程序代碼運行結果 實驗內容 某報文中共出現abdeoy 等6個字符，各字符出現頻度依次爲12 6 4 1 2 8。要求： 實現哈弗曼編碼算法，對這6個字符求出各自的編碼； 實現哈弗曼譯碼算法，對給定的一組編碼（
2020-04-20 05:28:42
原创 Dynamic Key-Value Memory Networks for knowledge Tracing
Dynamic Key-Value Memory Networks for knowledge Tracing Memory-Augmented Neural Networks MANN\text{MANN}MANN是一種用於多種
2020-02-25 12:25:40
原创 Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory Student Ability and Dif
2020-02-25 12:25:29
原创 NLP(1) - 使用gensim訓練Word2vec
文章目錄Word2vec第三方庫gensimnltk訓練Word2vec語料庫(corpus)預處理使用gensim訓練讀取Word2vecCode參考 Word2vec 在NLP中，想要處理文本，避不開的問題就是如何表示詞。在W
2020-02-25 12:25:29
原创 Google Colab 掛載 Google Drive
Step1 啓動notebook，執行以下代碼 from google.colab import drive drive.mount('/content/gdrive') 在文本框中輸入連接中的驗證碼 Step2 在左側文件中查
2020-02-25 12:25:29
原创 [李宏毅 機器學習] 2.誤差來源
您可以在我的個人博客 blog.pengwill.info 獲得更好的閱讀體驗。 文章目錄思維導圖數理統計中的方差和偏差估計均值$\mu$估計方差$\sigma^2$爲什麼會有這樣的結果對於均值的估計偏差對於方差估計偏差話說回來模
2019-07-31 10:36:59
原创 [李宏毅 機器學習] 3. 梯度下降
您可以在我的個人博客 blog.pengwill.info 獲得更好的閱讀體驗。 文章目錄思維導圖回顧Tip1: 調整學習速率AdagradTip2: 隨機梯度下降Tip3: 特徵縮放標準化梯度下降的數學原理泰勒展開 思維導圖
2019-07-31 10:36:59