前言

⏱最一段时间都在学习时间序列预测和时间序列分类相关的知识，一开始拿到任务感觉无从下手，论文看不懂，代码不会写。经过近三个月的摸索，也算是入门的小白了，这篇博文算是个人经过踩坑，去粗取精之后的经验总结。通过4篇博客、9篇论文、32篇实战教程，梳理出了一套系统化的时间序列预测和时间序列分类任务的入门指南。文中提及的博客论文和教程全部内容字数大约在50万字到100万字之间。既是对这段时间所学知识的梳理总结，也希望给有需要的同学提供帮助。水平有限，如有问题欢迎指出，谢谢。

🎯【适合人群】：

没有时间序列预测/分类相关的经验的小白。

⌨【代码环境】：

python 3.7.6
tensorflow 2.1.0

🔊【注意事项】：

因为tensorflow 2.0版本开始集成了keras，成为了 tensorflow.keras API，因此不用额外安装，并且无需 ~~import keras~~。
本文提及文章的神经网络编写部分使用Keras深度学习框架。
本文提及文章的所有代码均在Jupyter Notebook中编写，并测试通过。
本文提及的所有文章中，参考资料均在每篇文章的文末给出。

📽【行文顺序】：

原理篇：逻辑顺序
论文篇：时间顺序
实战篇：逻辑顺序+时间顺序
注：本文提及的网络架构、论文、教程都是按照由浅入深介绍的，教程部分（三、实战篇）有些教程是有相互关联的。

📖【主要内容】：时间序列任务分为时间序列预测和时间序列分类两种类型，本文主要内容如下：

LSTM 及其不同的网络架构处理时间序列预测/分类任务；
CNN 及其不同的网络架构处理时间序列预测/分类任务；
CNN-LSTM 网络处理时间序列预测/分类任务；
ConvLSTM 网络处理时间序列预测/分类任务；
DeepConvLSTM 网络处理时间序列分类任务；
LSTM-FCN 网络处理时间序列分类任务；
Multivariate LSTM-FCNs 网络处理时间序列分类任务

一、原理篇

本部分所有标题都设置了对应文章超链接，直接点击传送。

如果对下文提及的原理比较熟悉，可以直接跳过。

1.1 CNN

1. 零基础入门深度学习(4) - 卷积神经网络

文章日期：2017/08/28
内容梗概：CNN算法原理+数学推导+代码实现

1.2 RNN

2. 零基础入门深度学习(5) - 循环神经网络

文章日期：2017/08/28
内容梗概：RNN算法原理+数学推导+代码实现

1.3 LSTM

3. Understanding LSTM Networks

文章日期：2015/08/27
适合人群：了解LSTM的基本原理。

相信大家看过的很多介绍LSTM原理的文章都用到了这篇文章的配图。比如：

4. 零基础入门深度学习(6) - 长短时记忆网络(LSTM)

文章日期：2017/08/28
内容梗概：LSTM算法原理+数学推导+代码实现

这三篇文章（本篇+之前同系列两篇）应该是我目前遇到的讲解得最详细最全面思路最清晰的文章，由浅入深，原理+推导+代码，墙裂推荐。

二、论文篇

本部分主要内容：

时间序列分类任务数据集构建（人类活动识别）
CNN-LSTM 网络
ConvLSTM 网络
DeepConvLSTM 网络
LSTM-FCN 网络

本部分可以先跳过，直接看实战篇，如果对其中的网络架构有疑问或者有些内容看不懂，再阅读这些论文也可以。

2.1 WISDM 实验室论文

1. Activity Recognition using Cell Phone Accelerometers

论文被引：2034
论文年份：2010

WISDM实验室应该是最早开始做基于手机传感器的人类活动识别的实验室，手机的数据只有3个特征（3轴传感器数据）。这篇论文是该实验室的第一篇论文，主要介绍了关于数据集的构建与处理。

2. Cell Phone-Based Biometric Identification

论文被引：262
论文年份：2010

这篇论文是该实验室的第二篇论文，主要介绍了 数据收集以及将时间序列数据转换为样本的过程，值得借鉴。

该实验室还有3篇论文，个人感觉参考意义不大，可以先不看。

2.2 UCI-HAR 数据集论文

1. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly SVM

论文被引：619
论文年份：2012

这篇论文是创建该数据集的实验室发表的有关人类活动识别的第一篇论文，主要介绍了使用监督机器学习方法通过手机传感器信号来识别人类活动（6类，分别是站立，行走，放置，行走，上楼和在下楼）进行分类。使用9个特征（6轴传感器+3个分离信号（身体重力加速度））。

2. A Public Domain Dataset for Human Activity Recognition Using Smartphones

论文被引：763
论文年份：2013

这篇论文介绍了 UCI-HAR Dataset数据集是如何创建的，很有借鉴意义，如果做时间序列分类任务的话，是必读论文。

2.3 CNN-LSTM 论文

1. Long-term Recurrent Convolutional Networks for Visual Recognition and Description

论文被引：3634
论文年份：2015

该论文提出的网络架构最初被称为长期循环卷积网络（LRCN），现在使用“CNN LSTM”来指代使用CNN作为前端的LSTM。该网络架构最初用于生成图像的文本描述的任务。关键是CNN，该CNN在图像分类任务上进行了预训练，使得可以用作字幕生成的特征提取器。

2. Show and Tell: A Neural Image Caption Generator

论文被引：3378
论文年份：2015

该论文提出的网络架构用于语音识别和自然语言处理问题，其中CNN用作音频和文本输入数据上的特征提取器，之后输入到LSTM进行进一步处理。

这两篇论文是CNN-LSTM网络家族的开篇之作，是必读论文。

2.4 ConvLSTM 论文

1. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

论文被引：1787
论文年份：2015

这篇论文是最先提出 ConvLSTM 网络架构的论文，该论文是用于预测相对短时间内某个地区未来的降雨强度，属于必读论文。

2.5 DeepConvLSTM 论文

1. Deep Convolutional Neural Networks On Multichannel Time Series For Human Activity Recognition

论文被引：541
论文年份：2015

在基准数据集上对所提方法与现有方法的比较进行了广泛的研究。结果表明，该方法是一种很有竞争力的HAR问题求解算法。该论文还研究了CNN的效率，并得出结论：CNN对于在线人类活动识别是足够快的。

2. Deep Convolutional and LSTM RNN for Multimodal Wearable Activity Recognition

论文被引：836
论文年份：2016

该论文提出了DeepConvLSTM网络架构：由卷积层和LSTM循环层组成的深度学习框架，它能够自动学习特征表示并对它们的激活之间的时间依赖性进行建模。通过业内的标准的人类活动识别数据集（OPPORTUNITY和Skoda）进行实验，证明此框架适用于可穿戴传感器数据的活动识别。属于必读论文。

2.6 LSTM-FCN 论文

1. LSTM Fully Convolutional Networks for Time Series Classification

论文被引：211
论文年份：2017

该论文提出的模型在显著地提高全卷积网络性能的同时保证模型大小只有很少的增加，并且几乎不需要对数据集进行预处理。提出的长短期记忆-全卷积网络 （LSTM-FCN） 与其他网络相比，具有最新的性能。利用注意力-长短期记忆-全卷积网络 （ALSTM-FCN），探讨了注意力机制在时间序列分类中的应用。利用注意力机制可以可视化LSTM细胞的决策过程。此外，还提出了微调的方法来提高训练模型的性能。对模型的性能进行了全面的分析，并与其他技术进行了比较。

2. Multivariate LSTM-FCNs for Time Series Classification

论文被引：70
论文年份：2018

该论文提出将现有的单变量时间序列分类模型长短期记忆-全卷积网络（LSTM-FCN）和注意力-长短期记忆-全卷积网络（ALSTM-FCN）通过在全卷积块上增加一个压缩和激励块来进一步提高分类精度，从而转化为多变量时间序列分类模型。提出的模型在少量预处理的情况下优于大多数最新模型。所提出的模型能有效地处理各种复杂的多元时间序列分类任务，如活动识别或动作识别。此外，所提出的模型在满足实时要求（小，快），可以部署在内存受限的系统上。

看完这些论文，了解网络架构，看看代码然后结合自己的业务需求调参，基本上够用了。