原创 ML：線性迴歸

什麼是線性迴歸？ 線性迴歸模型就是指因變量和自變量之間的關係是直線型的。類似於一元線性迴歸： 給定一組數據集, 它的線性組合函數爲 參考鏈接：線性迴歸預測法 什麼是損失函數？ 損失函數：衡量預測值與真實值之間的誤差。一般採用均方誤差 ,其

2020-02-23 11:19:47

原创 循環和遞歸神經網絡

1 循環神經網絡       循環神經網絡（Recurrent Neural Network，RNN）是一類具有短期記憶能力的神經網絡。在循環神經網絡中，神經元不但可以接受其它神經元的信息，也可以接受自身的信息，形成具有環路的網絡結構。和

2019-07-30 01:54:51

原创 Attention原理

1 Attention 基本原理        神經網絡中可以存儲的信息量稱爲網絡容量（Network Capacity）。一般來 講，利用一組神經元來存儲信息時，其存儲容量和神經元的數量以及網絡的複雜 度成正比。如果要存儲越多的信息，神

2019-07-30 01:54:51

原创 BERT語言模型

1 Transformer原理 文章：《Attention Is All You Need》 模型架構圖如下： transformer的結構由encoder編碼和decoder解碼組成。 1.1 Encoder Encoder組件部分由

2019-07-30 01:54:51 1

原创 卷積神經網絡

1 卷積運算        在泛函分析中，卷積是通過兩個函數 f 和 g 生成第三個函數的數學運算，表徵函數 f 和經過翻轉，平移的 g 的乘積函數圍成的曲邊梯形的面積。        連續函數卷積: 設 f(x),g(x) 是 R 上兩

2019-07-10 04:31:39 1

原创 神經網絡基礎

人工神經網絡         人工神經網絡（Artificial Neural Network，ANN）是指一系列受生物學和神 經學啓發的數學模型。這些模型主要是通過對人腦的神經元網絡進行抽象，構 建人工神經元，並按照一定拓撲結構來建立人

2019-07-07 03:26:33

原创 文本表示

文本向量化是文本表示的一種重要方式，其中詞袋 Bag of Words(BOW) 和詞向量Word Embedding是最常見的兩種類型。 詞袋模型：        是n-gram語法模型的特例1元模型。該模型忽略掉文本的語法和語序等要素

2019-07-07 03:26:33

原创 文本分類

1、樸素貝葉斯 原理： 理論上，概率模型分類器是一個條件概率模型： 獨立變量C有若干類別，條件依賴於若干特徵變量,但問題在於如果特徵數量n的維度較大或者每個特徵能取大量值時，基於概率模型列出概率表變得不現實。所以我們修改這個模型使之變得

2019-07-03 03:42:17

原创 文本特徵選擇

  一、文本特徵的特點 1、特徵項能夠區分文章的不同 2、特徵項能夠表達該文章的信息 3、特徵的個數選擇不能太多 二、特徵選擇的方法 1、TF-IDF Frequency-Inverse Document Frequency：詞頻(TF)

2019-06-28 04:01:25

原创 文本分詞

1. 基本文本處理技能            英文分詞，常以空格分詞，中文分詞較爲複雜，常見方法有：正向最大、逆向最大、雙向最大匹配法，這些方法是基於詞典匹配而成。 正向最大：從前往後取詞，每次減一個字，直至詞典命中或剩下1個單字。 逆向

2019-06-25 04:32:07 10

原创 IMDB 數據集探索

代碼參考： https://www.tensorflow.org/tutorials/keras/basic_text_classification https://my.oschina.net/u/3800567/blog/288715

2019-06-22 04:08:45 2

原创 常見分類性能度量指標

常見分類性能度量指標 準確率 精確率 召回率 F1 值 ROC曲線 AUC曲線 PR曲線 常見分類性能度量指標 再將這幾個指標之前，先講幾個基礎概念 真正(True Positive , TP)：被模型預測爲正的正樣本。假正(False

2019-06-22 04:08:45 1