人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度學習實戰(不定時更新)

日萌社

人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度學習實戰(不定時更新)



大數據、AI、python、C++學習資源

鏈接:https://pan.baidu.com/s/1rXzERBEhVr08mEeKln8oqQ 
提取碼:0t54 

鏈接:https://pan.baidu.com/s/1BkGfhuejd2JZznvJHaRiow 
提取碼:am12 


C/C++ 筆記、Python 筆記、JavaWeb + 大數據 筆記

人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度學習實戰(不定時更新)

tensorflow 2.0 函數詳解

Numpy 相關函數詳解

pandas 相關語法詳解

matplotlib 相關語法詳解

PyTorch 相關函數詳解

MXNet 相關函數詳解

Keras深度學習實戰

python 相關語法詳解

高數 相關知識

卷積神經網絡

人工智能中 相關的術語概念知識


tensorflow 2.0 深度學習

tensorflow 2.0 深度學習(第一部分 part1)

tensorflow 2.0 深度學習(第一部分 part2)

tensorflow 2.0 深度學習(第一部分 part3)

tensorflow 2.0 深度學習(第二部分 part1)

tensorflow 2.0 深度學習(第二部分 part2)

tensorflow 2.0 深度學習(第二部分 part3)

tensorflow 2.0 深度學習 (第三部分 卷積神經網絡 part1)

tensorflow 2.0 深度學習 (第三部分 卷積神經網絡 part2)

tensorflow 2.0 深度學習(第四部分 循環神經網絡)

tensorflow 2.0 深度學習(第五部分 GAN生成神經網絡 part1)

tensorflow 2.0 深度學習(第五部分 GAN生成神經網絡 part2)

tensorflow 2.0 深度學習(第六部分 強化學習)


Python深度學習

Keras - Python深度學習(第一部分)

Keras - Python深度學習(第二部分)


PaddlePaddle深度學習實戰

PaddlePaddle 深度學習實戰(第一部分)

PaddlePaddle 深度學習實戰(第二部分)

PaddlePaddle 深度學習實戰(第三部分)

PaddlePaddle 深度學習實戰(第四部分)

PaddlePaddle 深度學習實戰(第五部分)

PaddlePaddle 個性化推薦系統


輕鬆學會Google TensorFlow 2.0人工智慧深度學習實作開發

tensorflow 2.0 畫出model網絡模型的拓撲圖 

tensorflow 2.0 的回調函數callbacks(TensorBoard、ModelCheckpoint)

TensorBoard視覺化網絡每層權重分佈、視覺化網絡層結構

MSE(均方誤差)、MAE(平均絕對誤差)

from_logits

CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)

對連續值/離散值進行預處理的兩種方式(標準化/one-hot化)、反標準化/逆標準化、字符串預處理

損失函數loss、指標函數metrics

激活函數 Sigmoid、Tanh、ReLU、Softmax

Batch Normalization

反向傳播、梯度下降、學習率、優化器optimizers(GD、SGD、Momentum、AdaGrad、Adam)

權重初始化對於激活函數的選擇:隨機常態分佈/隨機正態分佈初始化(標準差爲0.01或1)、Xavier(Glorot)初始化、He初始化

圖像增強(IA)、數據預處理

混淆矩陣tf.math.confusion_matrix

使用預訓練網絡訓練的兩種方式:Keras Applications、TensorFlow Hub


走向TensorFlow 2.0:深度學習應用編程快速入門

Python數據處理工具之Pandas

Python圖像處理工具之PIL、Pillow,從JPG文件轉換爲CIFAR-10文件

TensorFlow 2.0 環境搭建

TensorFlow 2.0基礎知識、TensorFlow 2.0高階API(tf.keras)

tf.keras下常用模塊 activations、applications、datasets、layers、losses、optimizers、regularizers、Sequential

去均值、歸一化、PCA

基於CNN的圖像識別應用編程實踐

RNN基於時間的反向傳播算法BPTT(Back Propagation Trough Time)梯度消失與梯度爆炸

文本預處理:分詞器Tokenizer、text_to_word_sequence、one-hot、hashing_trick、pad_sequences

基於Seq2Seq的中文聊天機器人編程實踐(Encoder編碼器-Decoder解碼器框架 + Attention注意力機制)

TensorFlow Serving:基於TensorFlow Serving的模型部署實踐


TensorFlow 2.0 卷積神經網絡實戰

nltk 處理文本

注意力機制 SENet、CBAM

卷積神經網絡 處理文本:word2vec、TF-IDF、TextRank、字符卷積、詞卷積、卷積神經網絡文本分類模型的實現(Conv1D一維卷積、Conv2D二維卷積)

反向傳播、鏈式求導

梯度下降

最小二乘法(LS算法):實際爲L2範數的一個具體應用(計算殘差平方和)

線性迴歸 例子


Python人臉識別:從入門到工程實踐 

人臉識別入門

矩陣、向量

範數:向量的範數(0範數、L1範數、L2範數、∞範數、-∞範數、P範數)

距離度量:歐式距離、曼哈頓距離、餘弦距離(餘弦相似度)、漢明距離

卷積

機器學習基礎:監督學習、非監督學習、強化學習

分類算法:支持向量機、核技巧(核函數)、AdaBoost算法。線性降維(特徵預處理:將三維特徵空間中樣本點映射到二維平面):PCA算法

圖像特徵:灰度直方圖、LBP特徵、Haar特徵(即Haar-like特徵,又稱Viola-Jones識別器)、HOG特徵(方向梯度直方圖)

顏色模型:RGB、HSV、灰度圖像、二值圖像

信號與噪聲。圖像濾波(用於濾除噪聲):均值濾波、中值濾波。

圖像的幾何變換:平移、旋轉、縮放

科學計算庫Numpy

Numpy提供的 線性代數 相關的函數:點積(叉乘)、向量的範數、對矩陣求F範數/行列式/秩/跡/逆矩陣/僞逆矩陣、哈達馬乘積(元素乘)

矩陣的高級函數:基於SVD算法(即奇異值分解法)的矩陣分解、通過SVD算法(即奇異值分解法)/特徵值分解法來實現PCA算法、隨機數矩陣

OpenCV:顏色變換(灰度化、負片轉換、亮度/對比度調節)、幾何變換(裁剪、尺寸縮放(默認使用線性插值)、旋轉)、圖像噪聲處理、濾波(二維卷積濾波、中值濾波、高斯濾波、雙邊濾波)

Keras深度學習:Keras、TensorFlow安裝、ubuntu16上安裝英偉達驅動等

Keras神經網絡堆疊的兩種方法:線性模型、函數式API

激活函數:Sigmoid、Softmax、ReLU

神經網絡層:全連接層、二維卷積層、池化層、BN層、dropout層、flatten層

優化器:SGD優化器(隨機梯度下降)、Adadelta優化器(自適應調節學習率)。反向傳播:梯度下降算法(BP算法)。

損失函數(代價函數):均方誤差MSE、均方根誤差RMSE、平均絕對誤差MAE、交叉熵損失函數

模型評估方法:交叉驗證。分類器性能評估:準確率accuracy、精確率precision(即查準率)、召回率recall(即查全率)、F1值、ROC曲線(受試者工作特徵曲線感受性曲線)

數據增強:ImageDataGenerator類實現

Keras的工程實踐:訓練時的回調函數(EarlyStopping、記錄訓練日誌、模型持久化ModelCheckpoint、降低學習率)、獲取某隱藏層輸出(提取某隱藏層特徵向量)

人臉識別方法 - 特徵臉法:對PCA算法的應用

OpenCV 人臉識別方法:特徵臉法(應用PCA算法)、費舍爾臉法FisherFace(應用LDA算法)、LBPH方法(應用LBP算法)

Dlib的人臉檢測方法(基於圖像的Hog特徵,結合支持向量機算法實現人臉檢測)

基於深度學習的圖片特徵提取:AlexNet、VGGNet、GoogLeNet、ResNet(殘差單元引入shortcut connections實現恆等映射)

使用OpenCV的人臉檢測:Haar級聯分類器、OpenCV的SSD人臉檢測器、使用Dlib的人臉檢測、基於Hog-SVM的人臉檢測、基於最大邊界的對象檢測器

人臉圖片數據集:Olivetti Faces、LFW、YouTube Faces、IMDB WIKI、FDDB

基於深度學習的目標檢測/人臉檢測/人臉識別:MTCNN、基於度量學習的方法,基於邊界分類的方法

基於深度學習的人臉識別系統:卷積神經網絡實現(VIPLFaceNet、VGGNet、Xception、ResNet50、ResNet18)、AM-Softmax損失

人臉識別工程化:把人臉識別算法封裝爲雲服務。服務API設計:人臉檢測、人臉對比、人臉圖片存儲、人臉圖片檢索。

window安裝dlib、face_recognition


OpenCV 4 計算機視覺項目實戰

安裝 Visual Studio 2019、Opencv 4.2.0,同時VS配置Opencv

opencv實時視頻中檢測面部部位並覆蓋面具:Haar級聯、積分圖像

使用OpenCV進行深度學習:YOLO、SSD


Python深度學習實戰-基於TensorFlow和Keras的聊天機器人以及人臉、物體和語音識別 

人臉檢測、人臉跟蹤、人臉識別、OpenCV(特徵臉、LBPH、費歇臉)


OpenCV輕鬆入門:面向python 

OpenCV中提供的訓練好的分類器實現人臉檢測:級聯分類器(Haar特徵、Hog特徵、LBP算法)。OpenCV中提供的人臉識別方法:LBPH、Eigenfaces、Fisherfaces


Python深度學習:基於PyTorch

PyTorch安裝

人臉檢測、人臉定位、人臉對齊、MTCNN、人臉識別(衡量人臉的相似或不同:softmax、三元組損失Triplet Loss、中心損失Center Loss、ArcFace)


深度學習:核心技術、工具與案例解析

人臉檢測、人臉對齊、人臉識別、haar分類器、MTCNN(PNet、RNet、ONet)


深度學習之圖像識別:核心技術與案例實戰

V-J人臉檢測算法:Haar特徵與積分圖像、級連分類器


神經網絡與深度學習

常用數學符號表

人工智能、機器學習、深度學習、端到端學習、神經網絡

機器學習的三個基本要素


Encoder編碼器-Decoder解碼器框架 + Attention注意力機制

Pytorch:Transformer(Encoder編碼器-Decoder解碼器、多頭注意力機制、多頭自注意力機制、掩碼張量、前饋全連接層、規範化層、子層連接結構、pyitcast) part1

Pytorch:Transformer(Encoder編碼器-Decoder解碼器、多頭注意力機制、多頭自注意力機制、掩碼張量、前饋全連接層、規範化層、子層連接結構、pyitcast) part2

Pytorch:解碼器端的Attention注意力機制、seq2seq模型架構實現英譯法任務

BahdanauAttention注意力機制、LuongAttention注意力機制

BahdanauAttention注意力機制:基於seq2seq的西班牙語到英語的機器翻譯任務、解碼器端的Attention注意力機制、seq2seq模型架構

圖片的描述生成任務、使用遷移學習實現圖片的描述生成過程、CNN編碼器+RNN解碼器(GRU)的模型架構、BahdanauAttention注意力機制、解碼器端的Attention注意力機制

注意力機制、bmm運算

注意力機制 SENet、CBAM

機器翻譯 MXNet(使用含注意力機制的編碼器—解碼器,即 Encoder編碼器-Decoder解碼器框架 + Attention注意力機制)

基於Seq2Seq的中文聊天機器人編程實踐(Encoder編碼器-Decoder解碼器框架 + Attention注意力機制)

基於Transformer的文本情感分析編程實踐(Encoder編碼器-Decoder解碼器框架 + Attention注意力機制 + Positional Encoding位置編碼)

注意:這一文章“基於Transformer的文本情感分析編程實踐(Encoder編碼器-Decoder解碼器框架 + Attention注意力機制 + Positional Encoding位置編碼)”
	該文章實現的Transformer的Model類型模型,實際是改造過的特別版的Transformer,因爲Transformer的Model類型模型中只實現了Encoder編碼器,
	而沒有對應實現的Decoder解碼器,並且因爲當前Transformer的Model類型模型處理的是分類任務,
	所以我們此處只用了Encoder編碼器來提取特徵,最後通過全連接層網絡來擬合分類。

安裝

安裝雙系統:win10安裝Ubuntu 18.04.4、ubuntu安裝NVIDIA顯卡驅動

ubuntu安裝NVIDIA顯卡驅動

Ubuntu 安裝 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8

TensorFlow2、CUDA10、cuDNN7.6.5

Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5

win10 安裝 子系統ubuntu18.04

Anaconda 創建虛擬環境、刪除/查看虛擬環境

ubuntu安裝anaconda python3.7版本

TensorFlow 2.0 環境搭建

window下安裝 Keras、TensorFlow(先安裝CUDA、cuDNN,再安裝Keras、TensorFlow)

window下安裝MXNet

MXNet安裝

window 安裝 PyTorch

PyTorch安裝

百度飛漿paddlepaddle下載安裝

強化學習平臺安裝 Mujoco、mujoco-py、gym、baseline

linux Centos 安裝 Tensorflow GPU版本 安裝教程

pycocotools 安裝

whl、tar.bz2 安裝方式

ubuntu 18 安裝 pychar


使用 Keras 定義簡單神經網絡來識別 MNIST 手寫數字的網絡

數據結構與算法(java/python/C實現):時間複雜度、冒泡排序、選擇排序、插入排序、希爾排序、快速排序、歸併排序、二叉樹、隊列、鏈表、棧

機器翻譯 MXNet(使用含注意力機制的編碼器—解碼器)

10分鐘快速入門 PyTorch – RNN

spark-scala調用tensorflow2.0訓練好的模型


Numpy

Matplotlib

人工智能概述、人工智能發展歷程、人工智能主要分支、機器學習工作流程、完整機器學習項目的流程、機器學習算法分類、獨立同分布、模型評估、深度學習簡介

Azure機器學習實驗

Pandas 讀寫excel、讀寫數據庫MySQL

Pandas

95%置信區間

seaborn

KNN:K-近鄰算法

特徵工程-特徵預處理:歸一化、標準化

距離度量:歐式距離/曼哈頓距離/切比雪夫距離/閔可夫斯基距離/標準化歐氏距離/餘弦距離/漢明距離/傑卡德距離/馬氏距離

數學:求導/常見函數的導數/矩陣(向量)求導

數據分割:留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉驗證法+網格搜索)、自助法

最小二乘法作爲損失函數然後與均方誤差(MSE)之間的區別

正規方程

梯度下降:全梯度下降算法(FG)、隨機梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、隨機平均梯度下降算法(SAG)。梯度下降法算法比較和進一步優化。

對稱矩陣、方陣、逆矩陣、協方差矩陣

正則化線性模型:嶺迴歸Ridge Regression(即線性迴歸的改進)、lasso迴歸(Lasso Regression)、彈性網絡(Elastic Net)、Early Stopping

多項式迴歸

維災難、欠擬合、過擬合、L1正則化、L2正則化

L1正則化、L2正則化、向量與矩陣的範數

分類中解決類別不平衡問題:imbalanced-learn、過採樣、欠採樣

無偏估計

線性迴歸

分類評估方法:精確率與召回率。ROC曲線與AUC指標、ROC曲線圖繪製。

邏輯迴歸

特徵工程-特徵提取:字典特徵提取、文本特徵提取、jieba分詞處理、Tf-idf文本特徵提取

決策樹算法(一)

決策樹算法(二)

決策樹算法(三)

決策樹算法(四)

集成學習:Bagging、隨機森林、Boosting、GBDT

聚類算法

樸素貝葉斯

SVM支持向量機

EM算法

Huber Loss

HMM模型:馬爾可夫鏈、隱馬爾可夫模型

拉格朗日乘子法

極大似然函數取對數的原因

集成學習:XGBoost

集成學習:lightGBM(一)

集成學習:lightGBM(二)

Sklearn:天池新人實戰賽o2o優惠券使用預測 part1

Sklearn:天池新人實戰賽o2o優惠券使用預測 part2

Sklearn:天池新人實戰賽o2o優惠券使用預測 part3

Sklearn:房租租⾦模型預測 版本一

Sklearn:房租租⾦模型預測 版本二 

模型融合stacking


CNN:RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN

計算機視覺面試題

計算機視覺CV:圖像處理面試題

計算機視覺

最近鄰分類器、L1與L2距離

人工神經網絡(ANN/NN)、感知機(PLA)

損失函數(交叉熵損失cross-entropy、對數似然損失、多分類SVM損失(合頁損失hinge loss))、Softmax分類器和交叉熵損失cross-entropy

前向傳播、反向傳播(後向傳播)、梯度下降、導數、鏈式法則

淺層神經網絡/深層神經網絡的前向傳播與反向傳播計算過程、非線性的激活函數(Sigmoid、Tanh、Relu、Leaky ReLU)、參數與超參數

局部最優、梯度消失、鞍點、海森矩陣(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、隨機梯度下降法SGD)

動量梯度下降(Momentum、指數加權平均)、逐參數適應學習率方法(Adagrad、RMSprop、Adam)、學習率退火、歸一化/標準化

偏差與方差、L1正則化、L2正則化、dropout正則化、神經網絡調優、批標準化Batch Normalization(BN層)、Early Stopping、數據增強

卷積神經網絡CNN、感受野、邊緣檢測、卷積層(零填充padding、步長、多通道卷積、多卷積核)、池化層Pooling、全連接層

LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet

深度學習框架 TensorFlow:張量、自動求導機制、tf.keras模塊(Model、layers、losses、optimizer、metrics)、多層感知機(即多層全連接神經網絡 MLP)

Keras 實現卷積神經網絡識別手寫數字、遷移學習以及tf.keras.applications使用

Keras的Sequential/Functional API兩種方式構建模型、保存模型/權重和恢復模型/權重、自定義 層Layer/損失函數Loss/評估指標Metric

callbacks回調函數(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator

Tensorflow執行模式:Eager Execution動態圖模式、Graph Execution圖模式、@tf.function實現Graph Execution圖模式、tf.Session

TensorFlow分佈式訓練:單機多卡訓練MirroredStrategy、多機訓練MultiWorkerMirroredStrategy

垃圾分類、EfficientNet模型、數據增強(ImageDataGenerator)、混合訓練Mixup、Random Erasing隨機擦除、標籤平滑正則化、tf.keras.Sequence

垃圾分類、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、帶有Warmup的餘弦退火學習率衰減

tf.saved_model.save模型導出、TensorFlow Serving模型部署、TensorBoard中的HParams 超參數調優

目標檢測

目標檢測:R-CNN

目標檢測:SPPNet

目標檢測:Fast R-CNN

目標檢測:Faster R-CNN、Faster RCNN接口

目標檢測:YOLO V1、YOLO V2、YOLO V3 算法

目標檢測:SSD 算法

KITTI自動駕駛數據集的訓練和檢測過程(人、車檢測案例)、KITTI數據集的TFRecord格式存儲、YOLO V3/Yolo V3 Tiny 遷移學習

目標分割

目標分割:FCN全卷積網絡、上採樣upsample、反捲積/轉置卷積Conv2DTranspose、跳躍連接skip layers實現融合預測fusion prediction

目標分割:SegNet、U-Net

目標分割:DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF

計算IoU:計算交併比

目標分割:Mask RCNN

目標分割:Mask RCNN 氣球分割案例 part1

目標分割:Mask RCNN 氣球分割案例 part2

目標追蹤:FCNT、GOTURN、SiamFC

OpenCV簡介

OpenCV:圖像讀取/保存、繪製直線/圓形/矩形、獲取並修改圖像中的像素點、圖像通道的拆分與合併

OpenCV 算數操作:圖像的加法、圖像的混合

OpenCV 圖像處理:幾何變換、圖像縮放、圖像平移、圖像旋轉、仿射變換、透射變換、圖像金字塔

OpenCV 圖像處理:形態學操作、連通性、腐蝕和膨脹、開運算/閉運算、禮帽和黑帽

OpenCV 圖像平滑:椒鹽噪聲、高斯噪聲、平均濾波、高斯濾波、中值濾波

OpenCV:模版匹配、霍夫變換、霍夫線檢測、霍夫圓檢測

OPenCV:傅里葉變換、時域和頻域、頻譜和相位譜、傅里葉級數、離散傅里葉變換(DFT)、頻域濾波、高通和低通濾波器、帶通和帶阻濾波器

OpenCV:輪廓檢測、查找輪廓、繪製輪廓、凸包、圖像的矩特徵

OpenCV:圖像分割、閾值分割、全閾值分割、自適應閾值分割、Otsu 閾值(大津法)、分水嶺算法、GrabCut算法

OpenCV:直方圖、灰度直方圖、掩膜、直方圖均衡化

OpenCV:邊緣檢測、Sobel檢測算子、Laplacian算子、Canny邊緣檢測

OpenCV 圖像特徵提取:角點特徵、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法

OpenCV:LBP和HOG特徵算子

OpenCV:視頻讀寫、從文件中讀取視頻並播放、保存視頻

OpenCV:視頻追蹤、meanshift算法、Camshift算法

OpenCV:人臉檢測、Haar特徵分類器、OpenCV中自帶已訓練好的檢測器

numba:編譯Python數組和數值計算函數的編譯器

imutils

OpenCV中DNN模塊、DNN模塊的常用API

自動駕駛:車道線檢測、車速檢測、實時通行跟蹤、基於視頻的車輛跟蹤及流量統計

車流量檢測實現:多目標追蹤、卡爾曼濾波器、匈牙利算法、SORT/DeepSORT、yoloV3、虛擬線圈法、交併比IOU計算

多目標追蹤:DBT、DFT、基於Kalman和KM算法的後端優化算法、SORT/DeepSORT、基於多線程的單目標跟蹤的多目標跟蹤算法KCF

計算交併比IOU、候選框不同表示方式之間的轉換

卡爾曼濾波器

卡爾曼濾波器實踐

目標估計模型-卡爾曼濾波

匈牙利算法

數據關聯:利用匈牙利算法對目標框和檢測框進行關聯

SORT、DeepSORT

多目標追蹤

yoloV3模型

基於yoloV3的目標檢測

叉乘:基於虛擬線圈法的車流量統計

視頻中的車流量統計

車道線檢測

相機校正、張氏標定法、極大似然估計/極大似然參數估計、牛頓法、高斯牛頓法、LM算法、sin/cos/tan/cot

相機校正和圖像校正:圖像去畸變

車道線提取:Sobel邊緣提取算法

透視變換

車道線定位及擬合:直方圖確定車道線位置

車道曲率和中心點偏離距離計算

在視頻中檢測車道線

單目標跟蹤SiamMask:特定目標車輛追蹤 part1

單目標跟蹤SiamMask:特定目標車輛追蹤 part2

單目標跟蹤 Siamese系列網絡:SiamFC、SiamRPN、one-shot跟蹤、one-shotting單樣本學習、DaSiamRPN、SiamRPN++、SiamMask

單目標跟蹤:跟蹤效果

單目標跟蹤:數據集處理

單目標跟蹤:模型搭建

單目標跟蹤:模型訓練

單目標跟蹤:模型測試


深度學習的介紹

神經網絡的介紹

PyTorch 安裝 GPU版本(CUDA/cuDNN)

Pytorch 張量

Pytorch 自動求導、梯度下降和反向傳播

Pytorch 線性迴歸

Pytorch 基礎模型:nn.Module、nn.Sequential、優化器類、常見的損失函數

優化算法:梯度下降算法BGD、隨機梯度下降法SGD、小批量梯度下降MBGD、動量法、AdaGrad、RMSProp。避免過擬合/加速訓練:Dropout、Batch Normalization

Pytorch 數據加載:Dataset、DataLoader、自帶數據集(MNIST數據集)

Pytorch 實現手寫數字識別

Pytorch:jieba分詞、hanlp分詞、詞性標註、命名實體識別、one-hot、Word2vec(CBOW、skipgram)、Word Embedding詞嵌入、fasttext

Pytorch 文本數據分析方法(標籤數量分佈、句子長度分佈、詞頻統計、關鍵詞詞雲)、文本特徵處理(n-gram特徵、文本長度規範)、文本數據增強(回譯數據增強法)

Pytorch:使用 Embedding 嵌入層 進行 新聞主題分類任務

Pytorch:RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸

注意力機制、bmm運算

Pytorch:嵌入層Embedding、EmbeddingBag

Pytorch:pytorch中的多種訓練模型寫法

Pytorch:RNN、LSTM、GRU

Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d

Pytorch:模型保存與加載方式

Pytorch:RNN、LSTM、GRU 構建人名分類器(one-hot版本、Embedding嵌入層版本)

Pytorch:解碼器端的Attention注意力機制、seq2seq模型架構實現英譯法任務

Embedding詞嵌入層的原理

Pytorch:Transformer(Encoder編碼器-Decoder解碼器、多頭注意力機制、多頭自注意力機制、掩碼張量、前饋全連接層、規範化層、子層連接結構、pyitcast) part1

Pytorch:Transformer(Encoder編碼器-Decoder解碼器、多頭注意力機制、多頭自注意力機制、掩碼張量、前饋全連接層、規範化層、子層連接結構、pyitcast) part2

Pytorch:使用Transformer構建語言模型

Pytorch:transpose、view、t()、contiguous()

Pytorch:model.train、model.eval、with torch.no_grad

fasttext:文本分類、訓練詞向量、詞向量遷移

torch.hub.load自動下載預訓練模型文件用以加載預訓練模型

bert-base-uncased-pytorch_model.bin

微調腳本文件 transformers:transformers-cli login、transformers-cli upload

Pytorch:NLP 遷移學習、NLP中的標準數據集、NLP中的常用預訓練模型、加載和使用預訓練模型、huggingface的transfomers微調腳本文件

莎士比亞風格的文本生成任務

BahdanauAttention注意力機制:基於seq2seq的西班牙語到英語的機器翻譯任務、解碼器端的Attention注意力機制、seq2seq模型架構

BahdanauAttention注意力機制、LuongAttention注意力機制

tf.keras.losses.SparseCategoricalCrossentropy

python命令執行run_glue.py模型微調文件進行微調模型

tf.random.categorical、溫度參數temperature

TensorFlow 2.0 推薦的訓練方式寫法

run_glue.py微調腳本代碼

應用於bert模型的動態量化技術(使用動態量化技術對訓練後的bert模型進行壓縮)、使用huggingface中的預訓練BERT模型進行微調、模型壓縮技術中的動態量化與靜態量化

保存沒有壓縮的原始模型和及其模型狀態、保存壓縮後的模型和及其模型狀態、加載沒有壓縮的原始模型文件和及其模型狀態、加載壓縮後的模型和及其模型狀態

ResNet模型在GPU上的並行實踐

圖片的描述生成任務、使用遷移學習實現圖片的描述生成過程、CNN編碼器+RNN解碼器(GRU)的模型架構、BahdanauAttention注意力機制、解碼器端的Attention注意力機制

IMDB影評的情感分析任務:雙層bi-LSTM模型(雙向LSTM)

智能對話系統:Unit對話API

在線聊天的總體架構與工具介紹:Flask web、Redis、Gunicorn服務組件、Supervisor服務監控器、Neo4j圖數據庫

supervisor 安裝

linux 安裝 neo4j

neo4j圖數據庫:Cypher

neo4j圖數據庫:結構化數據流水線、非結構化數據流水線

命名實體審覈任務:BERT中文預訓練模型

命名實體審覈任務:構建RNN模型

命名實體審覈任務:模型訓練

命名實體識別任務:BiLSTM+CRF part1

命名實體識別任務:BiLSTM+CRF part2

命名實體識別任務:BiLSTM+CRF part3

在線部分:werobot服務、主要邏輯服務、句子相關模型服務、BERT中文預訓練模型+微調模型(目的:比較兩句話text1和text2之間是否有關聯)、模型在Flask部署

系統聯調測試與部署

離線部分+在線部分:命名實體審覈任務RNN模型、命名實體識別任務BiLSTM+CRF模型、BERT中文預訓練+微調模型、werobot服務+flask

Softmax反向傳播推導、Bert的模型架構 

簡述BERT模型的訓練過程、BERT模型在推斷過程中做了哪些性能優化、BERT模型在訓練過程中做了哪些性能優化

如何設計一個猜你喜歡的推薦系統

fasttext模型在大量類別上能夠快速訓練的原因、爲了提升fasttext模型的評估指標做了哪些優化

在某個模型訓練過程中遇到的難題及其解決辦法、對自動超參數調優方法的理解、模型部署時如何實現熱更新、說一說最近看過的一篇論文

面試代碼題

面試題


正態分佈(高斯分佈)、均勻分佈

TensorFlow張量間運算的廣播機制、numpy數組間運算的廣播機制

科學記數法中的e

在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis軸的取值的不同

獲取Tensor類型變量的值

用於迴歸問題的模型評價:MSE、RMSE、MAE、R-Squared

非極大值抑制NMS(Non Maximum Suppression)

池化層。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint

ImageDataGenerator.flow_from_directory(...)

手勢識別:使用EfficientNet模型遷移、VGG16模型遷移

OpenCV:python調用攝像頭同時使用OpenCV中自帶已訓練好的檢測器來檢測實時圖像中的人臉和眼睛

googlenet提出的Inception結構優勢、softmax的BP推導/交叉熵損失的BP推導

神經網絡的梯度消失/梯度爆炸問題、神經網絡的過擬合問題、卷積網絡輸出大小計算/感受野計算、激活函數、sgd/momentum/rmsprop/adam優化算法

反捲積/轉置卷積Conv2DTranspose、空洞卷積 的特點及其應用

ResNet結構並分析其在計算機視覺方面取得成功的原因

python:求按從小到大的順序的第N個醜數

BATCH_SIZE大小設置對訓練耗時的影響


數據庫

MySQL part1

MySQL part2

MySQL part3

Redis part1

Redis part2

Redis part3

neo4j圖數據庫:Cypher

mongodb:安裝cmake、mongodb、mongodb的C驅動、C++驅動

linux 安裝 Redis

linux 安裝 neo4j


報錯解決

ValueError: Object arrays cannot be loaded when allow_pickle=False

報錯 ValueError: setting an array element with a sequence.

報錯AttributeError: 'Tensor' object has no attribute 'numpy'

報錯:ValueError: Duplicate plugins for name projector

報錯:No registered 'swish_f32' OpKernel for GPU devices compatible with node

報錯:tensorflow.python.eager.core._FallbackException

報錯:Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`

報錯:報錯文件路徑 \Anaconda3\lib\multiprocessing\...

報錯:ResourceExhaustedError OOM when allocating

報錯:AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'

報錯:RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'

報錯:RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead

RuntimeError: exp_vml_cpu not implemented for 'Long'

RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long

Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead

報錯:TypeError: unexpected keyword argument 'autotuneValidationFile'

linux執行腳本文件 /usr/bin/env: "python\r": 沒有那個文件或目錄 /usr/bin/env: "python\r": No such file or directory

AttributeError: module 'torch' has no attribute 'quantization'


圖像識別之卷積神經網絡

卷積神經網絡:從頭開始構建一個CNN

1.卷積神經網絡


初識機器學習

1.監督學習

2.無監督學習

單變量線性迴歸

1.線性迴歸

2.成本函數/代價函數、損失函數、目標函數

3.梯度下降

4.矩陣、向量

軟件安裝

window 安裝 Octave

多變量線性迴歸

1.多變量線性迴歸/多元線性迴歸

2.多元梯度下降法

3.特徵和多項式迴歸

4.正規方程

向量化

向量化

Logistic 迴歸

Logistic 迴歸

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章