![]()
日萌社
人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
大数据、AI、python、C++学习资源
链接：https://pan.baidu.com/s/1rXzERBEhVr08mEeKln8oqQ
提取码：0t54
链接：https://pan.baidu.com/s/1BkGfhuejd2JZznvJHaRiow
提取码：am12
C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记
人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
tensorflow 2.0 深度学习
tensorflow 2.0 深度学习（第一部分 part1）
tensorflow 2.0 深度学习（第一部分 part2）
tensorflow 2.0 深度学习（第一部分 part3）
tensorflow 2.0 深度学习（第二部分 part1）
tensorflow 2.0 深度学习（第二部分 part2）
tensorflow 2.0 深度学习（第二部分 part3）
tensorflow 2.0 深度学习 (第三部分 卷积神经网络 part1)
tensorflow 2.0 深度学习 (第三部分 卷积神经网络 part2)
tensorflow 2.0 深度学习（第四部分 循环神经网络）
tensorflow 2.0 深度学习（第五部分 GAN生成神经网络 part1）
tensorflow 2.0 深度学习（第五部分 GAN生成神经网络 part2）
tensorflow 2.0 深度学习（第六部分 强化学习）
Python深度学习
PaddlePaddle深度学习实战
轻松学会Google TensorFlow 2.0人工智慧深度学习实作开发
tensorflow 2.0 画出model网络模型的拓扑图
tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）
TensorBoard视觉化网络每层权重分布、视觉化网络层结构
CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)
对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理
激活函数 Sigmoid、Tanh、ReLU、Softmax
反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）
权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化
使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub
走向TensorFlow 2.0：深度学习应用编程快速入门
Python图像处理工具之PIL、Pillow，从JPG文件转换为CIFAR-10文件
TensorFlow 2.0基础知识、TensorFlow 2.0高阶API（tf.keras）
tf.keras下常用模块 activations、applications、datasets、layers、losses、optimizers、regularizers、Sequential
RNN基于时间的反向传播算法BPTT（Back Propagation Trough Time）梯度消失与梯度爆炸
文本预处理：分词器Tokenizer、text_to_word_sequence、one-hot、hashing_trick、pad_sequences
基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制）
TensorFlow Serving：基于TensorFlow Serving的模型部署实践
TensorFlow 2.0 卷积神经网络实战
卷积神经网络 处理文本：word2vec、TF-IDF、TextRank、字符卷积、词卷积、卷积神经网络文本分类模型的实现(Conv1D一维卷积、Conv2D二维卷积)
最小二乘法(LS算法)：实际为L2范数的一个具体应用(计算残差平方和)
Python人脸识别：从入门到工程实践
范数：向量的范数（0范数、L1范数、L2范数、∞范数、-∞范数、P范数）
距离度量：欧式距离、曼哈顿距离、余弦距离(余弦相似度)、汉明距离
分类算法：支持向量机、核技巧(核函数)、AdaBoost算法。线性降维(特征预处理:将三维特征空间中样本点映射到二维平面)：PCA算法
图像特征：灰度直方图、LBP特征、Haar特征(即Haar-like特征，又称Viola-Jones识别器)、HOG特征(方向梯度直方图)
Numpy提供的 线性代数 相关的函数：点积(叉乘)、向量的范数、对矩阵求F范数/行列式/秩/迹/逆矩阵/伪逆矩阵、哈达马乘积(元素乘)
矩阵的高级函数：基于SVD算法(即奇异值分解法)的矩阵分解、通过SVD算法(即奇异值分解法)/特征值分解法来实现PCA算法、随机数矩阵
OpenCV：颜色变换(灰度化、负片转换、亮度/对比度调节)、几何变换(裁剪、尺寸缩放(默认使用线性插值)、旋转)、图像噪声处理、滤波(二维卷积滤波、中值滤波、高斯滤波、双边滤波)
Keras深度学习：Keras、TensorFlow安装、ubuntu16上安装英伟达驱动等
神经网络层：全连接层、二维卷积层、池化层、BN层、dropout层、flatten层
优化器：SGD优化器(随机梯度下降)、Adadelta优化器(自适应调节学习率)。反向传播：梯度下降算法(BP算法)。
损失函数(代价函数)：均方误差MSE、均方根误差RMSE、平均绝对误差MAE、交叉熵损失函数
模型评估方法：交叉验证。分类器性能评估：准确率accuracy、精确率precision(即查准率)、召回率recall(即查全率)、F1值、ROC曲线(受试者工作特征曲线感受性曲线)
Keras的工程实践：训练时的回调函数(EarlyStopping、记录训练日志、模型持久化ModelCheckpoint、降低学习率)、获取某隐藏层输出(提取某隐藏层特征向量)
OpenCV 人脸识别方法：特征脸法(应用PCA算法)、费舍尔脸法FisherFace(应用LDA算法)、LBPH方法(应用LBP算法)
Dlib的人脸检测方法(基于图像的Hog特征，结合支持向量机算法实现人脸检测)
基于深度学习的图片特征提取：AlexNet、VGGNet、GoogLeNet、ResNet(残差单元引入shortcut connections实现恒等映射)
使用OpenCV的人脸检测：Haar级联分类器、OpenCV的SSD人脸检测器、使用Dlib的人脸检测、基于Hog-SVM的人脸检测、基于最大边界的对象检测器
人脸图片数据集：Olivetti Faces、LFW、YouTube Faces、IMDB WIKI、FDDB
基于深度学习的目标检测/人脸检测/人脸识别：MTCNN、基于度量学习的方法，基于边界分类的方法
基于深度学习的人脸识别系统：卷积神经网络实现(VIPLFaceNet、VGGNet、Xception、ResNet50、ResNet18)、AM-Softmax损失
人脸识别工程化：把人脸识别算法封装为云服务。服务API设计：人脸检测、人脸对比、人脸图片存储、人脸图片检索。
OpenCV 4 计算机视觉项目实战
安装 Visual Studio 2019、Opencv 4.2.0，同时VS配置Opencv
opencv实时视频中检测面部部位并覆盖面具：Haar级联、积分图像
Python深度学习实战-基于TensorFlow和Keras的聊天机器人以及人脸、物体和语音识别
人脸检测、人脸跟踪、人脸识别、OpenCV(特征脸、LBPH、费歇脸)
OpenCV轻松入门：面向python
OpenCV中提供的训练好的分类器实现人脸检测：级联分类器(Haar特征、Hog特征、LBP算法)。OpenCV中提供的人脸识别方法：LBPH、Eigenfaces、Fisherfaces
Python深度学习：基于PyTorch
人脸检测、人脸定位、人脸对齐、MTCNN、人脸识别(衡量人脸的相似或不同：softmax、三元组损失Triplet Loss、中心损失Center Loss、ArcFace)
深度学习：核心技术、工具与案例解析
人脸检测、人脸对齐、人脸识别、haar分类器、MTCNN(PNet、RNet、ONet)
深度学习之图像识别：核心技术与案例实战
神经网络与深度学习
Encoder编码器-Decoder解码器框架 + Attention注意力机制
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
BahdanauAttention注意力机制、LuongAttention注意力机制
BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
机器翻译 MXNet（使用含注意力机制的编码器—解码器，即 Encoder编码器-Decoder解码器框架 + Attention注意力机制）
基于Seq2Seq的中文聊天机器人编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制）
基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）
注意：这一文章“基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）”
该文章实现的Transformer的Model类型模型，实际是改造过的特别版的Transformer，因为Transformer的Model类型模型中只实现了Encoder编码器，
而没有对应实现的Decoder解码器，并且因为当前Transformer的Model类型模型处理的是分类任务，
所以我们此处只用了Encoder编码器来提取特征，最后通过全连接层网络来拟合分类。
安装
安装双系统：win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动
Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8
Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5
window下安装 Keras、TensorFlow（先安装CUDA、cuDNN，再安装Keras、TensorFlow）
强化学习平台安装 Mujoco、mujoco-py、gym、baseline
linux Centos 安装 Tensorflow GPU版本 安装教程
使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络
数据结构与算法(java/python/C实现)：时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈
spark-scala调用tensorflow2.0训练好的模型
人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介
距离度量：欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离
数据分割：留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法
梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
正则化线性模型：岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping
分类中解决类别不平衡问题：imbalanced-learn、过采样、欠采样
分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。
特征工程-特征提取：字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取
集成学习：Bagging、随机森林、Boosting、GBDT
Sklearn：天池新人实战赛o2o优惠券使用预测 part1
Sklearn：天池新人实战赛o2o优惠券使用预测 part2
Sklearn：天池新人实战赛o2o优惠券使用预测 part3
CNN：RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN
损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy
浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数
局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)
动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化
偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强
卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层
LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet
深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用
Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric
callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator
Tensorflow执行模式：Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session
TensorFlow分布式训练：单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy
垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence
垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
目标检测：Faster R-CNN、Faster RCNN接口
目标检测：YOLO V1、YOLO V2、YOLO V3 算法
KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习
目标分割：FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction
目标分割：DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF
OpenCV：图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并
OpenCV 图像处理：几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔
OpenCV 图像处理：形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽
OpenCV 图像平滑：椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波
OPenCV：傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器
OpenCV：轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征
OpenCV：图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法
OpenCV：边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测
OpenCV 图像特征提取：角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法
OpenCV：视频追踪、meanshift算法、Camshift算法
OpenCV：人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器
自动驾驶：车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计
车流量检测实现：多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算
多目标追踪：DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF
相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot
单目标跟踪 Siamese系列网络：SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask
Pytorch 基础模型：nn.Module、nn.Sequential、优化器类、常见的损失函数
优化算法：梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练：Dropout、Batch Normalization
Pytorch 数据加载：Dataset、DataLoader、自带数据集(MNIST数据集)
Pytorch：jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext
Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)
Pytorch：使用 Embedding 嵌入层 进行 新闻主题分类任务
Pytorch：RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸
Pytorch：嵌入层Embedding、EmbeddingBag
Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d
Pytorch：RNN、LSTM、GRU 构建人名分类器（one-hot版本、Embedding嵌入层版本）
Pytorch：解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1
Pytorch：Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2
Pytorch：transpose、view、t()、contiguous()
Pytorch：model.train、model.eval、with torch.no_grad
torch.hub.load自动下载预训练模型文件用以加载预训练模型
bert-base-uncased-pytorch_model.bin
微调脚本文件 transformers：transformers-cli login、transformers-cli upload
Pytorch：NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件
BahdanauAttention注意力机制：基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构
BahdanauAttention注意力机制、LuongAttention注意力机制
tf.keras.losses.SparseCategoricalCrossentropy
python命令执行run_glue.py模型微调文件进行微调模型
tf.random.categorical、温度参数temperature
应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化
保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态
图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制
IMDB影评的情感分析任务：双层bi-LSTM模型(双向LSTM)
在线聊天的总体架构与工具介绍：Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库
在线部分：werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型（目的：比较两句话text1和text2之间是否有关联）、模型在Flask部署
离线部分+在线部分：命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask
简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化
fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化
在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文
TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制
在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同
用于回归问题的模型评价：MSE、RMSE、MAE、R-Squared
非极大值抑制NMS(Non Maximum Suppression)
池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint
ImageDataGenerator.flow_from_directory(...)
手势识别：使用EfficientNet模型迁移、VGG16模型迁移
OpenCV：python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛
googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导
神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法
反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用
数据库
mongodb：安装cmake、mongodb、mongodb的C驱动、C++驱动
报错解决
ValueError: Object arrays cannot be loaded when allow_pickle=False
报错 ValueError: setting an array element with a sequence.
报错AttributeError: 'Tensor' object has no attribute 'numpy'
报错：ValueError: Duplicate plugins for name projector
报错：No registered 'swish_f32' OpKernel for GPU devices compatible with node
报错：tensorflow.python.eager.core._FallbackException
报错：Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`
报错：报错文件路径 \Anaconda3\lib\multiprocessing\...
报错：ResourceExhaustedError OOM when allocating
报错：AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'
报错：RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'
报错：RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
RuntimeError: exp_vml_cpu not implemented for 'Long'
RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long
Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead
报错：TypeError: unexpected keyword argument 'autotuneValidationFile'
linux执行脚本文件 /usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory
AttributeError: module 'torch' has no attribute 'quantization'