2017-01-23 新一代视频压缩码标准-H.264_AVC：第一章 绪论、第二章 数字视频、第三章 视频压缩编码的基本原理
第一章 绪论
1.1 绪论.信息化与视频通信
1.1.1 绪论.信息化与视频通信.什么是信息
信息是客观世界的描述和分析。
1.1.2 绪论.信息化与视频通信.什么是信息化
1.2 绪论.视频信息和信号的特点
1.2.1 直观性
1.2.2 准确性
1.2.3 高效性
1.2.4 广泛性
1.2.5 视频信号的高带宽性
1.3 绪论.视频压缩编码的要求和可能性
1.3.1 视频压缩编码的目标
1.3.1.1 必须压缩在一定的带宽内，即视频编码应具有足够的压缩比；
1.3.1.1 视频信号压缩后，经解压重建应保持一定的视频质量。
1.3.1.3 简单、易实现、成本低、可靠性高。
1.3.2 视频压缩的可能性
1.预测编码：相邻的像素的值发生突变的概率极小，相等、相似或缓变的概率极大。利用此原理编码称为帧内预测编码。相邻帧与帧之间突变的可能性也很小，具有帧间相关性。
2.变换编码：大量统计表明，视频信号中包含着能量上占大部分的直流和低频成分（图中的平坦部分），还有少量的高频成分（图像的细节部分）。
1.4 视频压缩编码技术综述
1.4.1 基本结构
视频编码方法与可采用的信源模型有关：
如果采用“一幅图像由许多像素构成”的信源模型，这种信源模型的参数就是每个像素的亮度和色度的幅度值，对这些参数进行压缩编码的技术称为基于波形的编码。
如果采用“一个分量由几个物体构成”的信源模型，这种信源模型的参数就是各个物体的形状、纹理和运动，对这些参数进行压缩的编码的技术称为基于内容的编码。
1.4.2 基于波形的编码
利用像素间的空间相关性和帧间的时间相关性，采用预测编码和变换编码技术可大大减少视频信号的相关性，从而显著降低视频序列的码率，实现压缩编码的目标。
基于波形的编码采用了把预测编码和变换编码组合起来的基于块的混合编码方法。
为了减少编码的复杂性，使视频编码操作易于执行，采用混合编码方法时，首先把一副图像分成固定大小的块，如8*8（即每块8行，每行8个像素）等，然后对块进行压缩编码处理。
H264就采用了基于块的混合编码法，属于基于波形的编码。
1.4.3 基于内容的编码
对不同物体的形状、运动和纹理进行编码。在最简单的情况下，利用二维轮廓描述物体的形状，利用运动矢量描述其运动状态，而纹理则用颜色的波形进行描述。
MPEG-4采用的编码方法即是基于块的混合编码，又采用了基于内容的编码方法。
1.4.4 立体（三维）视频编码
同样具有基于波形和基于内容两种方式
第二章 数字视频
2.1 数字电视的基本概念
1：失真小、噪声低、视频质量高
模拟电视信号在传输过程中难免会引入失真和噪声，并随着处理次数和传输距离的增加不断积累。数字电视信号则没有上述的噪声累积效应。只要噪声电平不超过信号脉冲幅度的一半，就可用脉冲再生技术对其整形，恢复成“0”或“1”两种电平，不会引入噪声。
2：易处理、易校正
模拟信号进行压缩、加密、校正都很麻烦，数字信号则方便的多。
3：容量大、节目多
同样的贷款容纳的数字电视节目比模拟电视节目多得多。
2.1.2 数字电视的PCM原理
PCM 脉冲编码调制(Pulse Code Modulation,PCM)
2.1.4 A/D与D/A变换
DAC是Digital Analog Converter(数字模拟信号转换器)的缩写
Analog.Digital, 模拟/数字\Digital.Analog, 数字/模拟
2.2 数字电视信号
2.2.1 电视信号的时间和空间取样
1.时间取样
电视信号的取样有两种：空间取样和时间取样。运动图像可由每秒若干帧的静止图像构成，如每秒25帧。这种取样方式就是按时间取样。但低于15帧/秒的视频质量不高。
2.空间取样
在同一电视信号帧中，同一行由若干取样点构成，这样取样点称为像素，这样取样就属于空间取样。
2.2.2 彩色空间
1.RGB、red、green、blue三基色。
总所周知，任何彩色图像可由不同比例的红色、绿色、蓝色组合而成，即三基色原理。这种表示彩色图像的方法即RGB彩色空间。
2.YUV
人类视觉系统对亮度比色彩更敏感，因此可把亮度信息从色彩信息中心分离出来。色彩清晰度降低，可显著压缩带宽。
2.2.3 彩色电视取样格式
2.2.4 数字电视信号的编码参数
1.量化值：量化值（量化节距）取得太大，视频图像显得粗糙；取得太小，视频图像质量好，但带宽浪费大。
2.取样频率
2.3 视频信号的预处理
各种传感器在将实际场景转换为图像信号时总会引入各种噪声和畸变失真，因此需要对图像传感器和图像进行预处理。
2.3.1 色彩插值（Color Interpolation）
2.3.2 色彩校正（Color Correction）
2.3.3 伽马校正（Gamma Correction）
其中涉及一个术语--强度（Intensity），其表示的是每单位面积传播的（光）辐射能量。感光设备的光线强度和电压并不成正比，所以需要矫正。
2.3.4 图像增强（Image Enhancement）
1.平滑滤波
主要用于消除图像采样系统的量化过程所产生的的噪声。
2.中值滤波
目的是保护图像的细节的同时，消除噪声。
3.图像锐化
图像的边缘信息在图像风险和人的世界中都是非常重要的，物体的边缘是以图像局部特性不断连续的形式出现的。
前面介绍的图像滤波有益于消除噪声是有益的，但往往使图像中的边界、轮廓变得模糊。图像锐化技术，就是使图像的边缘变得更加鲜明。
2.3.5 白平衡（White Balance）
白平衡作为图像处理的一个重要术语，指的是对白色物体颜色的还原。当我们用肉眼观看大千世界时，在不同光线下，对相同的颜色的感觉基本相同，
主是由于大脑已经对于不同光线下的物体的色彩还原有了适应性。但是，传感器没有这种人眼的适应性，在不同的光线下，由于图像传感器输出的不平衡性，
造成其输出的色彩失真。
2.4 视频质量
2.4.1 主观质量的评定
2.4.2 客观质量的测量
第三章 视频压缩编码的基本原理
3.1 预测编码
3.1.1 预测编码.预测编码的基本概念
预测法是最简单、实用的视频压缩编码方法，经过压缩编码后传输的并不是像素本身的取样值，而是该取样的预测值和实际值之差。
大量统计表明，同一副图像的临近像素之间有着相关性，或者说这些像素值相似。
3.1.2 预测编码.帧内预测编码
3.1.3 预测编码.帧间预测编码
1.单项预测
2.双向预测
有时，不只是利用前一帧像素进行预测，还需利用后一帧像素。
这时，用前向参考帧预测当前帧称为前向运动补偿，利用后向参考帧预测当前帧称为后向运动补偿，利用前、后向同时预测，就称为双向预测运动补偿。
在诸如会议电视、可视电话等实时通信中，一般不应用双向预测，因为后向预测在当前帧之后进行，会引入编码时延。
为了进一步提高编码效率，多帧预测（包括单向和双向预测）被引入，如H.264标准参考帧可达16帧。
3.重叠块运动补偿OBMC
以上基于块的运动补偿从计算量上看是比较简单，但这种人为的块划分使得每一个块有一个运动矢量，容易产生方块效应，
特别在运动矢量估计不准确或物体运动非简单的平移运动及一个块中有几个不同运动物体时更为严重。重叠块运动补偿（Overlapped Block Motion Compensation）方法解决了运动矢量估计不准确的问题。
3.1.4 预测编码.运动估计
1.基本概念
在帧间预测编码中，由于活动图像临近帧中的景物存在着一定的相关性，因此可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在临近帧中的位置，并得出两者之间的空间位置的相对偏移量，得到的偏移量就是通常指的运动矢量，得到的运动矢量的过程被称为运动估计。
2.运动估计的方法
H.264编码标准和以往采用的视频压缩标准的最大不用在于，在运动估计过程中采用了多参考帧来提高预测精度。多参考帧预测就是在编解码端建立一个存储M个重建帧的缓存，当前的带编码块可以在缓存内的所有重建帧中寻找最优的匹配块进行运动补偿。
3.运动表示法
由于在成像的场景中一般有多个物体做不同的运动，如果直接按照不同类型的运动将图像分割成复杂的区域是比较困难的。最直接和不受约束的方法是对每个像素都制定运动矢量，这就是基于像素表示法。他需要估计大量的未知量，并且他的解时常在物理上不正确，通常采用基于块的物体运动表示法。
1）基于块的运动表示法
一般对于细节比较少、比较平坦的区域选择得块的尺寸大一些，对于图像中细节比较多的区域选择的块的尺寸小一些。
2）亚像素位置的内插
由于自然物体运动的连续性，相同两帧之间的块的运动矢量不是以整像素为基本单位的，可能真正的运动位移量是以1/4像素甚至1/8像素等亚像素作为单位的。
H.264只采用了1/4像素精度的运动矢量模型。
3）运动矢量在时空域的预测方式
如果对每个块的运动矢量进行编码，那么将花费相当数目的比特数，特别是选择小尺寸的块的时候。由于一个运动物体会覆盖多个分块，所以空间域相邻块的运动矢量具有很强的相关性，因此，每个运动矢量可以根据邻近先前已编码的块进行预测。
