原创 Transformer——代碼篇
最最前面 本文是邊看代碼，邊思考，邊驗證寫的，所以很雜亂，我個人喜歡記錄這樣的筆記，方便看到自己的不足。 我儘可能的分塊表達。 上半部分代碼講完後，我最後還稍微做了些疑惑驗證，很建議首先看。 序 理論基本看完了，宏觀認知有了
2020-06-16 13:58:34
原创 Word2vec——語言模型篇
序 其實，語言模型這個東西纔是Word2vec最最核心的東西，但是網上博客給人種過於重視於Hierarchical Softmax和Negatove sampling這兩個訓練trick，凡事有個因果，這篇我來探討一下，Word
2020-06-16 13:58:33
原创 DRQA-簡單的思路整理
序言 前段時間看了cdqa,所以自己順手也把這個給看了看,沒有細看,源碼也只是大致瀏覽了下. 由於cdqa是繼承drqa的關係,所以兩者框架思路很很多trick都是通的. 下面先簡單介紹一下這個項目,然後介紹一下他的retrie
2020-02-23 07:09:07
原创 CQDA中針對bert的數據讀取與處理
序 其實本質上是對squad數據針對bert的變形處理，本文不深究細節，過於瑣碎，相信會調用bert的人也不會被一個數據讀入難住，這裏是想形象的展示記錄一下cqda裏面數據處理的流程。 小知識 skearn 自定義轉換器
2020-02-23 07:09:07
原创 CDQA-簡介與資料
序 算是自己看得機器閱讀理解的第一個小項目,斷斷續續看完了,還是有點收穫的,所以把自己學的時候的一些資料放上來,其實github上都有,自己只是總結下. CDQA: closed-domain QA,閉域的QA系統. 項目官方
2020-02-23 07:09:07
原创 機器閱讀理解推薦博客文章
文章 深度學習解決機器閱讀理解任務的研究進展 author: 張俊林 一直在關注的一位大佬，最開始準備入閱讀理解的時候就找到了這篇文章，但是由於沒有這方面的背景知識，看起來很難受，在看了三篇相關的論文後，重新回頭看，收穫頗多。
2020-02-23 07:09:07
原创 混合精度訓練——資料+簡單說明
序 最近看CDQA這個開源庫的時候看到了混合精度訓練這種寫法，所以簡單去了解了下， 結果得出了一個很悲催的結論：我的小破筆記本的顯卡不支持混合精度訓練…？？！ 自己不研究這個，找到一些很不錯的資料，自己看完後這裏就奉送上！ T
2020-02-23 07:09:07
原创 《A Through Examination of the CNN_Daily Mail Reading Comprehension Task》——Stanford Attentive Reader
序 論文其他細節不再注意，只關注它的網絡結構。 可能是年代比較久遠，github上只有一個這篇論文的代碼…還是python2.7的 模型結構 模型分三部分： 第一部分，編碼：問題的詞編碼一樣，先通過一個embedding表
2020-02-23 07:09:07
原创 機器閱讀理解文章推薦2—— 《Neural machine reading comprehesion:methods and threds》
序 這是一篇綜述類論文，由於機器閱讀理解領域也算是現在深度學習流行領域的分支，市面上不會有像深度學習入門級別的教程那樣那麼多的資料，甚至找本好的書都難，個人只能靠讀論文和一些博客學習。 看了一系列論文後，覺得自己需要連貫起來，對
2020-02-23 07:09:07
原创 《 Text Understanding with the Attention Sum Reader Network 》——Attention Sum Reader
序 作爲清華推薦的閱讀理解論文的一篇，同時在張俊林大佬的博客裏也看到了他的身影，覺得有必要看波論文，學習一下。 (Attention Sum Reader)AS Reader可以看作是一維匹配結構的典型示例。 這是一篇IBM 的
2020-02-23 07:09:07
原创 CDQA——BM25算法
序 自己在看這個開源代碼中看到了這個相似性算法和一些工程中的技巧，感覺很不錯，算是多了點兒見識，以前還從沒有用過稀疏矩陣這個存儲結構，這裏就寫一個文檔簡單記錄一下 python小知識 Python中關於eval函數與ast.
2020-02-23 07:09:07
原创 高斯混合模型資料
序 這部分內容自己寫也是搬運別人的，而且看完感覺不算難，這裏就放上資料了。 閱讀順序見下： [ 1 ] 多維高斯分佈 [ 2 ] EM及高斯混合模型 [ 3 ] 代碼 代碼基本和[2]推出的結論一樣，理清出維度變換就好了。
2020-02-23 07:09:07
原创 ubuntu 16.04 + GTX1050安裝nvidia驅動
0 序 由於某些原因,配好的nvidia驅動崩了,崩了的大致情況如下: nvidia-smi沒有了 nvidia-setting顯示none 重裝吧.但是重裝過程中碰到了很多小bug,快瘋了,這裏都記錄一下. 1. 最最前面
2020-02-23 07:09:07
原创 一個簡單的堆的小例子
序 python有一個 專門的heap文件, import heap就可以了. 目的: 這裏只是一個單純的形成堆的例子,給一個list,將list堆化 思路 簡愛說一代碼的思路,代碼參考B站( https://www.bil
2020-02-23 07:09:07
原创 python小知識——多線程加速
python中調用多線程加速處理文件 出處： 個人以後可能會用到的代碼加速 解釋 最開始有一個疑惑，因爲：廖雪峯這篇文章裏說： Python的線程雖然是真正的線程，但解釋器執行代碼時，有一個GIL鎖：Global Interp
2020-02-23 07:09:07