文章目錄一、Transformer的結構是什麼樣的？1.1 Encoder端&Decoder端總覽1.2 Encoder端各個子模塊1.2.1 多頭self-attention模塊1.2.2 前饋神經網絡模塊1.3 Decoder
文章目錄一、ELMO的基本原理二、ELMO的訓練過程是什麼樣的？損失函數是什麼？三、ELMO訓練好之後如何使用？四、ELMO的優點是什麼？ELMO爲什麼有效？五、ELMO爲什麼能夠達到區分多義詞的效果？六、ELMO把三種不同的向量
文章目錄一、神經網絡爲什麼要進行batch norm？二、BN三、LN參考文獻 機器學習領域有個重要假設：IID獨立同分布假設 假設訓練數據和測試數據是滿足相同分佈 獨立同分布假設是通過訓練集得到的模型在測試集能有好效果的基本保障
文章目錄一、NLP項目的Pipeline二、word segmentation2.1 最大匹配算法（max matching）2.2 Incorporate Semantic三、文本表示3.1 one-hot representa
RNN
文章目錄一、Bert的基本原理是什麼？二、BERT 是怎麼用 Transformer 的？三、BERT 的訓練過程是怎麼樣的？3.1 Masked LM3.2 Next Sentence Prediction四、爲什麼 BERT
文章目錄一、基於規則的方法二、基於監督學習的方法三、Bootstrap算法四、Snowball 一、基於規則的方法 優點： 比較準確 不需要訓練數據 缺點： low recall rate，（覆蓋問題），覆蓋範圍小，很多規則
文章目錄一、RF1.1 原理1.2 優缺點二、GBDT2.1 原理2.2 優缺點三、XGBoost3.1 原理四、GBDT和XGBoost區別 RF、GBDT和XGBoost都屬於集成學習，集成學習的目的是通過結合多個基學習器的預
文章目錄一、GD二、從LR看L1、L22.1 模型複雜度2.2 正則三、K折交叉驗證四、MAP與MLE五、Lasso Regression 一、GD GD： 梯度穩定，所有樣本的梯度 SGD： 梯度不穩定（一個樣本，可能爲噪
類別特徵（categorial Feature） - 男(0,1) - 女(1,0) - one-hot encoding 連續型特徵 - 身高、溫度 - A：直接用（歸一化）：0,1歸一化、N(0,1)高斯歸一化 -
P問題： 在多項式複雜度下，可以解決的問題 NP問題：在多項式複雜度下可以verify的問題（可驗證） - 給一個解，可在多項式複雜度內驗證解是否正確 - 例如：密碼問題 NP-hard問題：指數級複雜度問題
lightgbm, xgboost RF和GBDT的異同 （對於ID3,C4.5,CART也要了解，對於xgb的算法原理要充分理解，比如損失函數的推導過程，爲什麼要使用二階泰勒展開。最好有一些調參經驗） svm損失函數推
文章目錄一、概念二、例子三、優缺點3.1 生成方法3.2 判別方法3.3 兩者的區別和聯繫四、模型實例4.1 生成式模型4.2 判別式模型 一、概念 對於輸入x，類別標籤y： 產生式模型估計它們的聯合概率分佈P(x,y) 判別式
邏輯迴歸一、邏輯迴歸的假設1.關於數據的假設2.關於正類概率計算的假設二、邏輯迴歸的損失函數三、邏輯迴歸的求解方法1.批梯度下降2.隨機梯度下降3.小批量梯度下降4.上述模型存在的問題4.1 如何對模型選擇合適的學習率4.2 如何
文章目錄一、SVM簡介二、SVM爲什麼採用間隔最大化（與感知機的區別）三、SVM的目標（硬間隔）四、求解目標（硬間隔）五、軟間隔六、核函數七、如何選擇核函數八、關於支持向量機的問題1. KKT條件2. 支持向量3.爲什麼將原問題轉
