原创 機器學習技法13: 深度學習(Deep Learning)

文章目錄13.1 Deep Neural Network13.2 Autoencoder13.3 Denoising Autoencoder13.4 Principal Component AnalysisSummary上節課介紹了神經網絡

原创 機器學習技法10: 隨機森林(Random Forest)

文章目錄10.1 Random Forest Algorithm10.2 Out­-Of­-Bag Estimate10.3 Feature Selection10.4 Random Forest in ActionSummary上一節課介

原创 機器學習技法09: 決策樹(Decision Tree)

文章目錄9.1 Decision Tree Hypothesis9.2 Decision Tree Algorithm9.3 Decision Tree Heuristics in C&RT9.4 Decision Tree in Acti

原创 機器學習技法12: 神經網絡(Neural Network)

文章目錄12.1 Motivation12.2 Neural Network Hypothesis12.3 Neural Network Learning12.4 Optimization and RegularizationSummary

原创 機器學習技法11: Gradient Boosted Decision Tree(GBDT)

文章目錄11.1 Adaptive Boosted Decision Tree11.2 Optimization View of AdaBoost11.3 Gradient Boosting11.4 Summary of Aggregati

原创 一站式入門深度學習調參,深度學習模型面臨的挑戰與24種優化策略詳解

文章目錄1. 深度學習模型面臨的挑戰1.1 神經網絡學習映射功能1.2 學習網絡權重很困難1.3 求解非凸誤差面1.4 學習算法的構成1.4.1 損失函數1.4.2 權重初始化1.4.3 批次大小1.4.4 學習率1.4.5 訓練週期2.

原创 【調參18】如何對數據進行標準化(standardization)和歸一化(normalization)

文章目錄1. 基本知識1.1 標準化(Standardization)和歸一化(Normalization)1.2 原始輸入數據的問題1.3 輸入變量的縮放方法1.4 輸出變量是否應該縮放2. 數據縮放方法2.1 數據歸一化(Normali

原创 【調參19】如何使用梯度裁剪(Gradient Clipping)避免梯度爆炸

文章目錄1. 梯度爆炸和裁剪2. TensorFlow.Keras 實現2.1 梯度範數縮放(Gradient Norm Scaling)2.2 梯度值裁剪(Gradient Value Clipping)3. 實例3.1 梯度爆炸 MLP

原创 【調參17】如何使用貪婪逐層預訓練分析不同層數對深度神經網絡的影響

文章目錄1. 貪婪逐層預訓練策略1.1 預訓練的好處1.2 預訓練的方法2. 多分類問題2.1 有監督的 貪婪逐層預訓練2.1.1 準備數據2.1.2 定義模型2.1.3 評估模型2.1.4 貪婪逐層預訓練配置2.1.5 完整代碼2.2 無

原创 【調參20】如何通過遷移學習(Transfer Learning)提高深度神經網絡的性能

文章目錄1. 遷移學習簡介2. 多分類問題實例2.1 構建數據2.2 問題1的MLP模型2.3 問題2的MLP模型2.4 問題2使用遷移學習的MLP模型2.5 特徵提取與權重初始化性能對比代碼環境:python-3.7.6tensorflo

原创 【調參16】如何爲神經網絡選擇損失函數

文章目錄1. 神經網絡與最優化2. 損失和損失函數3. 最大似然與最大似然估計(MLE)4. 最大似然和交叉熵5. 損失函數的經驗選擇5.1 迴歸問題5.2 分類問題6. 損失函數實現6.1 MSE6.2 cross entropy7. T

原创 【調參13】如何使用Batch Normalization提高模型性能

文章目錄1. Batch Normalization(批歸一化)簡介1.1 訓練深層網絡的問題1.2 標準化層輸入1.3 如何標準化層輸入1.4 批歸一化應用案例1.5 批歸一化使用技巧1.5.1 與不同的網絡類型一起使用1.5.2 激活前

原创 【調參15】如何配置神經網絡的學習率

文章目錄1. 什麼是學習率2. 學習率的影響3. 如何設置學習率4. 爲學習過程添加動量(Momentum)5. 使用學習率時間表(LR Schedule)6. 自適應學習率(Adaptive LR)神經網絡的權重無法使用分析方法來計算,必

原创 瞭解行業動向,NVIDIA GTC 2020 總結

文章目錄1. 開場1.1 NVIDIA COVID-191.2 NVIDIA & Mellanox1.3 NVIDIA SDK2. RTX3. 高性能計算和數據分析(Spark3.0)3.1 加速計算四個支柱3.2 Spark3.0性能突破

原创 【調參14】如何設置合適的Batch Size提高模型訓練的穩定性

文章目錄1. batch size 與 梯度下降2. 三種梯度下降方法的Keras實現2.1 Stochastic Gradient Descent2.2 Batch Gradient Descent2.3 Minibatch Gradie