原创 關於batch normalization和layer normalization的理解
目錄 一、batch normalization和layer normalization的動機 二、BN和LN的框架原理 2.1BN和LN的具體操作原理 2.2BN和LN的優點和不足 2.3BN和LN的不同 2.4BN和LN的實例代碼展示
2020-06-29 11:55:50
18
原创 python生成器的原理和業務場景下的使用
最近接觸到了python生成器的具體使用場景，很有必要對之進行總結，下面就python生成器的原理和業務場景下的使用做一個簡單的分析和記錄。 目錄 一、什麼是生成器 二、生成器的實現和優點 2.1生成器表達式 2.2生
2020-06-29 11:12:30
1
原创 word2vec模型訓練保存加載及簡單使用
目錄 word2vec模型訓練保存加載及簡單使用 一 word2vec簡介 二、模型訓練和保存及加載 模型訓練 模型保存和加載 模型的增量訓練 三、模型常用API 四、文本相似度計算——文檔級別 word2vec模型訓練保
2020-06-24 00:06:16
28
原创 pandas一些實用API記錄
pandas數據處理很方便，有些API一直記不住，做記錄。有需要不定時更新！ 1、df打亂順序 pandas實現： sample(frac)函數 #sample(frac = 1)按比例返回數據，順序是打亂了的 #reset_index
2020-06-24 00:06:16
原创 關於Bert模型參數的分佈
參數分佈 Bert模型的版本如下： BERT-Base, Uncased: 12-layer, 768-hidden, 12-heads, 110M parameters BERT-Large, Uncased: 24-layer, 10
2020-06-23 22:24:57
1
原创 linux操作命令隨筆
1、scp拷貝文件 假設遠程服務器IP：39.02.150.51 遠程路徑：/sentence-transformers/examples 本地路徑：/sentence-transformers/examples/output a
2020-06-23 22:24:57
原创 NLP任務樣本數據不均衡問題解決方案的總結和數據增強回譯的實戰展示
目錄 一、數據層面 1、欠採樣（under-sampling） 2、過採樣 二、算法層面 1、權重設置 2、新的損失函數——Focal Loss 三、評價方式 四、數據增強實戰——回譯(back translate) 1、Translat
2020-06-23 22:24:46
原创 ubuntu系統添加新的字體——JetBrains Mono 字體添加實例
ubuntu系統添加新的字體具體操作方式： 1、系統字體文件夾所在路徑 /usr/share/fonts 2、下載對應字體文件 如：JetBrains Mono 字體。下載網址： "https://download.jetbrains
2020-06-23 22:24:46
1
原创 pytorch Dataset, DataLoader產生自定義的訓練數據
轉載文章——https://blog.csdn.net/guyuealian/article/details/88343924
2020-06-23 22:24:34
原创 python for循環多進程執行應用
以前瞭解過JAVA多線程多進程，python也學到過，但是就沒有遇到過具體的業務場景，最近要做一個文本匹配的任務，需要對70W條文本數據進行推薦相似度的計算，需要做一個全遍歷——也就是一個70W個元素的list遍歷的時候，和自身做一
2020-06-23 22:24:34
原创 LSTM+CRF相關理論的知識的理解——學習筆記
在做NLP算法工程師的時候，瞭解到了NER命名實體識別中LSTM+CRF是目前主流的方法，一直對CRF不是很理解，最近抽時間對CRF進行了較爲全面的學習。寫這篇博客特此記錄，以供後續複習，同時也加深自己對這些理論知識的理解。
2020-06-23 22:24:34
原创 python多進程中使用tqdm監控任務執行進度
tqdm可以很好的顯示程序中任務進度情況。在目前的工作中遇到需要使用多進程把for循環改寫成多進程來執行。一般來說任務處理時間都是比較長的，需要有個進度顯示器來觀測，任務進行的怎麼樣了。這個時候就需要tqdm模塊來工作了，但是多進程下怎麼
2020-06-23 22:24:24
12
原创 LSTM(長短時記憶網絡)原理、pytorch實現、參數量分析以及應用場景簡單總結
目錄 一、LSTM原理 遺忘門 輸入門 細胞狀態更新 輸出門 LSTM數學模型 二、lstm的實現 三 、lstm學習參數總量分析一級pytorch框架下lstm輸入總結 1、學習參數總量分析 2、pytorch中lstm模型輸入的說
2020-06-23 22:24:23
原创 使用bert模型做句子分類
使用bert模型微調做下游任務，在goole發佈的bert代碼和huggingface的transformer項目中都有相應的任務，有的時候只需要把代碼做簡單的修改即可使用。發現代碼很多，我嘗試着自己來實現一個用bert模型來做句
2020-06-23 22:24:23
原创 馬爾科夫系列——一、隱馬爾可夫模型 - 馬爾可夫鏈、HMM參數和性質
發現簡書上有一個作者寫的有關馬爾科夫系列的文章寫得詳細、生動並且系統，特轉載過來學習一下。原文地址：隱馬爾可夫模型 - 馬爾可夫鏈、HMM參數和性質 目錄 一、馬爾可夫性質 二、馬爾可夫鏈 例子:假設認爲股價有三種狀態(高、
2020-06-23 22:24:23