原创 [機器學習-邏輯迴歸]邏輯迴歸(LogisticRegression)多分類(OvR, OvO, MvM)

這裏寫目錄標題前言One-VS-RestOne-Vs-One比較 OvO 和 OvR多對多 (Many vs Many)過擬合問題類別不平衡問題Sklearn實踐案例總結 前言 邏輯迴歸分類器(Logistic Regressio

原创 [深度學習NPL]word2vector總結與理解

word2vector總結與理解1. 目前成熟的Word2Vector1.1. English Pre-trained word embeddings1.2 Chinese Pre-trained word embeddings2

原创 [深度學習TF2] 梯度帶(GradientTape)

TF梯度帶GradientTape1. 背景介紹2. tf.GradientTape函數的參數介紹例1 - persistent =False and watch_accessed_variables=True ,也就是默認值例2

原创 [機器學習-概念篇]徹底搞懂信息量,熵、相對熵、交叉熵

1 信息量 首先是信息量。假設我們聽到了兩件事,分別如下: 事件A:巴西隊進入了2018世界盃決賽圈。 事件B:中國隊進入了2018世界盃決賽圈。 僅憑直覺來說,顯而易見事件B的信息量比事件A的信息量要大。究其原因,是因爲事件A發

原创 [深度學習TF2][RNN-LSTM]文本情感分析包含(數據預處理-訓練-預測)

基於LSTM的文本情感分析1. 數據下載2. 訓練數據介紹3. 用到Word2Vector介紹wordsList.npy介紹wordVectors.npy介紹4 數據預處理4.1 . generate_train_data函數4.

原创 [深度學習-知識總結]過擬合以及解決方法

這裏寫目錄標題1. 什麼是過擬合?2. 什麼原因導致了過擬合?數據問題模型問題算法問題3.防止過擬合的方法DropoutRegularization:參考資料 1. 什麼是過擬合? 上圖來自於吳恩達老師機器學習課程,第一張圖是“

原创 [深度學習-原理]BP神經網絡

前言 BP(back propagation)神經網絡 1. 什麼是人工神經網絡? 首先給出一個經典的定義:“神經網絡是由具有適應性的簡單單元組成的廣泛並行互連網絡,它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應”[K

原创 [深度學習-實踐]BP神經網絡的Helloworld(手寫體識別和Fashion_mnist)

前言 原理部分請看這裏 [深度學習-原理]BP神經網絡 Tensorflow2 實現一個簡單的識別衣服的例子 數據集Fashion_mnist, 此數據集包含10類型的衣服 (‘T-shirt/top’, ‘Trouser’, ‘

原创 [機器學習-數學]什麼是協方差/協方差矩陣/矩陣特徵

協方差/協方差矩陣/矩陣特徵介紹1. 均值:2. 標準差:3. 方差:4. 協方差5. 協方差矩陣6. 超參數7. 參考資料 1. 均值: 均值描述的是樣本集合的平均值 。 2. 標準差: 標準差描述是樣本集合的各個樣本點到均值

原创 [爬蟲-python]爬取京東100頁的圖書(機器學習)的信息(價格,打折後價格,書名,作者,好評數,差評數,總評數)

Python爬取京東的機器學習類圖書的信息一,配置搜索關鍵字和頁數,二,查找用到的三個URL的過程1. 搜索圖書的URL2. 評論總數,差評數,好評數的URL3. 當前價格與打折前價格URL四,代碼分析五,完整代碼六, 執行結果

原创 [概率論]如何通俗地理解“最大似然估計法”?

最大似然估計說的就是,如果事情發生了,那必然是概率最大的。 我們假設硬幣有兩面,一面是“花”,一面是“字”。 一般來說,我們都覺得硬幣是公平的,也就是“花”和“字”出現的概率是差不多的。 如果我扔了100次硬幣,100次出現的都是

原创 [深度學習]爲什麼梯度反方向是函數值下降最快的方向?

爲什麼梯度反方向是函數值下降最快的方向1. 版本一用泰勒公式展開式解釋1.1. 什麼是梯度?1.2 梯度下降算法1.3 一階泰勒展開式1.4 梯度下降數學原理1.5總結2.版本二用方向導數解釋2.1 導數2.2. 偏導數2.3 方

原创 深度學習-函數-tf.nn.embedding_lookup 與tf.keras.layers.Embedding

embedding函數用法1. one_hot編碼1.1. 簡單對比1.2.優勢分析:1.3. 缺點分析:1.4. 延伸思考2. embedding的用途2.1 embedding有兩個用途:1、降維,如下圖:2*6矩陣乘上6*3

原创 [爬蟲-python] scrapy框架入門實例-百度貼吧

這裏寫目錄標題前言0. 本章內容大概流程1. 安裝Scrapy2. 工程建立3. 實現過程3.1在items.py中定義自己要抓取的數據:3.2 然後在spiders目錄下編輯myspider.py那個文件:3.3 調試技巧3.3

原创 [機器學習-原理及實現篇]線性迴歸-最小二乘法

線性迴歸到底要幹什麼,顧名思義很簡單,即在已有數據集上通過構建一個線性的模型來擬合該數據集特徵向量的各個分量之間的關係,對於需要預測結果的新數據,我們利用已經擬合好的線性模型來預測其結果。關於線性迴歸的方法,現在使用得比較廣泛的就