原创 支持向量機(SVM)綜合

目錄概念線性SVM對偶形式非線性SVM多分類SVR補充說明 概念 E.n. Support Vector Machine (SVM)。機器學習領域有一種概念叫 線性可分 (linearly seperable) —— 可以通過設

原创 自然語言處理綜合

目錄一、自然語言處理介紹概念子領域數據集工具包二、APIJieba (分詞)Pyltp (分詞、詞性標註、命名實體識別、句法依存樹、語義角色標註)NLTK (詞性、詞性標註、提取詞頻、提取詞根、詞形還原、編輯距離)Pre-trai

原创 KBQA: 趨勢淺談

KBQA前言一、百問二、十年基於神經網絡基於語言學其他三、浪潮翻湧ACL 2019AAAI 2020其他四、尾聲附錄Language to Logical Form with Neural Attention (Dong and

原创 Transformer, Transformer-XL, XLNet: 追溯XLNet的前世今生

目錄前言一、Attention Is All You NeedAttention機制Transformer成績二、Transformer-XL: Attentive Language Models Beyond a Fixed-L

原创 系統交互摘要

目錄一、程序接口二、異常處理系統內置 Error自定義 Error三、運維日誌 一、程序接口 當我們需要在命令行或其他編程語言中運行 .py 文件並傳入指定參數,編寫程序接口的重要性就不言而喻了。傳統的 Python 使用系統內置

原创 樸素貝葉斯算法文本分類應用

樸素貝葉斯的中心思想,在於利用各類別在訓練樣本中的分佈以及類別中各特徵元素的分佈,計算後驗概率,使用極大似然法判斷測試樣本所屬。出於該原理,使用該算法實現文本分類的侷限性較多,例如訓練集中各類樣本的比例不能相差過大,比例較大的樣本

原创 知識圖譜綜合

目錄前言1 介紹1.1 基本概念1.2 應用場景1.3 公共領域1.4 生命週期2 知識表示2.1 經典知識表示體系2.2 資源描述框架(RDF)2.3 知識表示學習3 知識體系3.1 人工構建知識體系3.2 自動構建知識體系4

原创 從圖嵌入算法到圖神經網絡

目錄一、引言二、圖相關概念路徑相關算法三、圖嵌入算法常見概念演變歷程四、圖卷積網絡GNN: The Graph Neural Network Model (2009)GraphSAGE: Inductive Representat

原创 GLUE: 自然語言理解的標杆

官網: https://gluebenchmark.com/leaderboard 自然語言處理領域在各個子任務上都有相應的榜單和標杆數據集,但放眼望去,General Language Understanding Evalu

原创 TensorFlow, Mxnet, PyTorch: 要點總結及常見神經網絡代碼實現

目錄一、深度學習框架TensorFlow 1.xPyTorchMxnet二、多層感知機 (MLP) (Mxnet+TensorFlow實現)三、卷積神經網絡 (LeNet/AlexNet/VGG/NiN/GoogLeNet/Res

原创 最大熵模型(MEM)

最大熵模型的優點在於可以添加任意自定義特徵,且不需要保持維度一致性(通俗而言,就是每個樣本滿足哪些特徵,就放哪些特徵;特徵函數的取值均爲 0 或 1;放進來的特徵即表示該樣本在該特徵維度上取值爲 1,否則默認爲 0),因此適用於特

原创 決策樹綜合

目錄一、概念二、算法ID3C4.5CART三、剪枝 一、概念 算法 特徵 ID3 使用 信息增益 度量不純度;可處理 離散型 數據;可用於 分類;每個節點衍生出 多個分支 C4.5 使用 信息增益率 度量不純度;

原创 集成學習綜合

目錄前言一、概念BaggingBoosting二、算法隨機森林AdaBoostGBDTXGBoostLightGBMCatBoost 前言 關於與集成學習相關的基礎決策樹 CART 的相關原理這裏不再介紹,請參考 決策樹 ★★。

原创 TensorFlow: 1.x將長時間保持主流

討論 Tensorflow 2.0版本雖然推出已有些時日了,前兩天 2.1 版本也已經放出來了,但筆者基於一些猜想,一直興趣乏匱。今天讀了讀官方說明書,又在一些網站看了看先鋒人士的使用體會,果不其然。最終得出結論:熟悉 TF1.x

原创 數據挖掘綜合

目錄一、從外部文件讀取/寫入數據二、數據清洗1) 基本代碼Built-In:str 類Built-In:list 類Numpy:NDArray 類Pandas:Series 類Pandas:DataFrame 類2) 正則表達式3