原创 梯度下降法與牛頓法的總結與比較
機器學習的本質是建立優化模型，通過優化方法，不斷迭代參數向量，找到使目標函數最優的參數向量。最終建立模型。 通常用到的優化方法：梯度下降方法、牛頓法、擬牛頓法等。這些優化方法的本質就是在更新參數。 一：梯度下降法 1、梯度下降的思想
2019-09-08 15:49:07
57
原创 導數、偏導數、方向導數、梯度、梯度下降
前言： 機器學習中的大部分問題都是優化問題，而絕大部分優化問題都可以使用梯度下降法處理，那麼搞懂什麼是梯度，什麼是梯度下降法就非常重要！這是基礎中的基礎，也是必須掌握的概念！ 提到梯度，就必須從導數（derivative）、偏
2019-09-08 15:49:07
原创 邏輯迴歸的常用面試點總結
1.簡介 邏輯迴歸是面試當中非常喜歡問到的一個機器學習算法，因爲表面上看邏輯迴歸形式上很簡單，很好掌握，但是一問起來就容易懵逼。所以在面試的時候給大家的第一個建議不要說自己精通邏輯迴歸，非常容易被問倒，從而減分。 2.正式介紹
2019-09-04 15:54:03
原创 常用激活函數（激勵函數）
學習神經網絡的時候我們總是聽到激活函數這個詞，而且很多資料都會提到常用的激活函數，比如Sigmoid函數、tanh函數、Relu函數。那麼我們就來詳細瞭解下激活函數方方面面的知識。本文的內容包括幾個部分： 什麼是激活函數？ 激活函數的用途
2019-08-28 16:11:23
原创 聚類算法Kmeans如何進行優化
支持向量機、邏輯迴歸、決策樹等經典的機器學習算法主要用戶分類問題，即根據一些給定類別的樣本，訓練某種分類器，使得它能夠對類別未知的樣本進行分類，與分類問題不同，聚類是在事先不知道任何樣本類別標籤的情況下，通過數據之前的內在關係把樣本劃分爲
2019-08-28 16:11:23
1
原创 cnn中關於平均池化和最大池化的理解
接觸到pooling主要是在用於圖像處理的卷積神經網絡中，但隨着深層神經網絡的發展，pooling相關技術在其他領域，其他結構的神經網絡中也越來越受關注。一個典型的卷積神經網絡結構圖，其中的卷積層是對圖像的一個鄰域進行卷積得到圖像的鄰域特
2019-08-28 16:11:12
原创 Python參數傳遞（引用傳遞和值傳遞）
python中的函數參數既支持按值調用，也支持按引用調用。 python中的變量是對象引用：變量存儲的值是內存地址。當函數被調用的時候，解釋器會查看傳入的變量（內存地址）指的那個值的類型，如果是一個可變類型的值，就按照引用傳遞變量；如果是
2019-08-28 16:11:12
原创 Python 二進制， 十進制， 十六進制轉化
十六進制 到 十進制 使用 int() 函數 ，第一個參數是字符串 '0Xff' ,第二個參數是說明，這個字符串是幾進制的數。 轉化的結果是一個十進制數。 >>> int('0xf',16) 15 二進制 到 十進制 >>> int(
2019-08-28 16:11:12
2
原创 卷積神經網絡CNN基本概念（二）上採樣 下采樣
縮小圖像：或稱爲下采樣（subsampled）或降採樣（downsampled） 主要目的有兩個：1、使得圖像符合顯示區域的大小；2、生成對應圖像的縮略圖。 放大圖像：或稱爲上採樣（upsampling）或圖像插值（interpolati
2019-08-28 16:11:12
51
原创 動態規劃從入門到精通（一）-入門篇
大三的春招，由於自己的不足，過得十分艱難。在各大公司的筆試題中，動態規劃是一個必考點。突然冒出一個想法，寫一個“動態規劃從入門到精通”系列，與各大網友一起交流學習。 學習動態規劃，愚認爲，就是解決以下的三個問題： 什麼是動態規劃？什麼時候
2019-08-28 16:11:12
3
原创 數據預處理：獨熱編碼（One-Hot Encoding）和labelEncoder標籤編碼
一、問題由來 在很多機器學習任務中，特徵並不總是連續值，而有可能是分類值。 離散特徵的編碼分爲兩種情況： 1、離散特徵的取值之間沒有大小的意義，比如color：[red,blue],那麼就使用one-hot編碼 2、離散特徵的取值
2019-08-13 15:37:10
16
原创 廣告點擊率模型中，LR，GBDT+LR，FM，DNN等模型的優點和缺點？實際效果如何？
LR 優點： 1.是一個很好的baseline,效果不錯，當然因爲效果不錯，所以後續的版本想超過它，真的還是很難的。 2.實際簡單，有開源的工具可以直接用來訓練，在線的代碼也寫起來比較容易。 缺點： 1.因爲是線性模型，所以有選擇交叉特徵
2019-08-13 15:37:10
4
原创 深度學習中Embdeding層倆大作用的個人理解
首先，我們有一個one-hot編碼的概念。 假設，我們中文，一共只有10個字。。。只是假設啊，那麼我們用0-9就可以表示完 比如，這十個字就是“我從哪裏來，要到何處去” 其分別對應“0-9”，如下： 我 從 哪 裏 來 要 到
2019-08-13 15:37:10
8
原创 集成學習（Ensemble Learning）-bagging-boosting-stacking
基本概念 元算法（meta-algorithm）,所謂“三個臭皮匠，頂個諸葛亮”，在做決策時，通常會聽取多個專家而不只是一個人的意見。例如，醫院在遇到罕見病例時會組織多個專家進行臨牀會診，共同分析病例以給出手術方案。這就是元算法背後的思路
2019-08-09 15:49:35
10
原创 決策樹模型 ID3/C4.5/CART算法比較
一、決策樹的優點和缺點 優點： 決策樹算法中學習簡單的決策規則建立決策樹模型的過程非常容易理解， 決策樹模型可以可視化，非常直觀 應用範圍廣，可用於分類和迴歸，而且非常容易做多類別的分類 能夠處理數值型和連續的樣本特徵 缺點： 很容易在
2019-08-08 15:52:19
13