人間觀察
歲月催人，時間過的太快了
音視頻編碼解碼就是指通過特定的壓縮/解壓技術，將某個音視頻格式的數據轉換爲另一種音視頻格式數據。目前在Android中的音視頻用的最多的就是H264+aac的方式進行編碼和解碼，其實不止Android，H264在整個音視頻領域都是使用最廣泛的編碼方式。H264是新一代的編碼標準，以高壓縮高質量和支持多種網絡的流媒體傳輸。當然還有比H264更好的H265編碼，H265是基於H264優化的。
1.H264標準的演進
國際上主流制定視頻編解碼技術的組織有兩個，一個是國際電聯（ITU-T），它制定的標準有H.261、H.263、H.263+、H.264等。
一個是**國際標準化組織（ISO）**它制定的標準有MPEG-1、MPEG-2、MPEG-4等。他們各自發展，隨着時間的推移這兩個基友融在一起了，推出了H.264/MPEG-4 AVC，他們都保留了各自的叫法。所以你在電腦上看視頻文件（如果是h264編碼的話）的簡介都是H.264/MPEG-4 AVC，但是在代碼中不是h264時是avc，哈哈。簡單瞭解下h264標準的形成就行。
2.前提
我們爲什麼要進行編碼呢？這個要搞清楚，因爲原始數據太大了，舉個例子比如採集視頻的分辨率是720*1280，幀率是30fps，那1s的數據大小是：
720 *1280（位像素）*30（張圖片）/8/1024/1024=3.3mb。如果這1s的數據進行網絡傳輸和磁盤保存是非常不合理的，除非電影院的視頻，電影院的視頻都是原始的，一部電影上1000G，好傢伙，簡直就是在放高清圖片。666
所以我們要經過壓縮，其中就是h264的壓縮，編碼的時候經過去掉圖像內的冗餘和保留圖像之間的差異的數據進行傳輸/保存，解碼的時候進行還原即可。這就是我們的先輩們努力了10多年的成果。
這篇是理論，儘可能的保留所謂的官方概念。也會加入自己的理解。
3.H264相關概念
h264中有很多很多的概念，這些很重要。下面的3個幀的總結來自有關書籍也加入了自己的理解，如果我只寫自己的理解可能會導致真正意義上的丟失，所以我這裏還是保留了，大家可以細細品讀這3個幀的描述。
3.1 幀 Frame
簡單的理解幀就是爲視頻或者動畫中的每一張畫面，而視頻和動畫特效就是由無數張畫面組合而成，每一張畫面都是一幀。
3.2 三種視頻幀
分爲I 幀 B幀 P幀，當然是編碼後數據。
3.2.1 I 幀
I 幀是幀內編碼幀，I 幀是完整幀，可以理解爲一副畫面的完整保留，當然也不是保留最原始數據，刪掉了人眼不敏感的數據（人眼對色度不敏感對亮度敏感），解碼時只需要本幀數據就可以完成，就可以出來畫面，直播秒開就是這個原理，首幀爲I幀，配合雲端緩存最近的I幀。
I 幀特點：
- 它是一個全幀壓縮編碼幀，它將全幀的圖像進行jpeg壓縮編碼
- 既然是完整的圖像那所佔數據的信息量比較大
- 解碼時僅用I幀的數據就可以重構完整圖像
- 不需要參考其他畫面進行編碼生成
- I 幀是序列gop的基礎幀（第一幀），在一個gop裏只有一個I 幀
- I 幀是P幀和B幀的參考幀（其質量直接影響到同組中以後各幀的質量），如果I幀質量不行，那這個序列質量都不行。
- I 幀描述了圖像背景和運動主體的詳情
總之，I 幀很nb，I 幀越多說明該視頻畫面變換多越複雜。
3.2.2 P幀-前向預測編碼幀
P幀表示的是這一幀跟之前的一個關鍵幀（或P幀）的差別，解碼時需要之前緩存的畫面疊加上本幀定義的差別，生成最終畫面。（也就是差別幀，P幀沒有完整畫面數據，只有與前一幀的畫面差別的數據）。
P幀的預測與重構：P幀是以 I 幀爲參考幀，在 I 幀中找出P幀“某點”的預測值和運動矢量，取預測差值和運動矢量一起傳送。在接收端根據運行矢量從 I 幀找出P幀“某點”的預測值並與差值相加以得到P幀“某點”樣值，從而可得到完整的P幀。
P幀的特點：
- P幀是 I 幀後面相隔1~2幀的編碼幀
- P幀採用運動補償的方法傳送它與前面的I或P幀的差值及運動矢量（預測誤差）
- 解碼時必須將i幀中的預測值與預測誤差求和後才能重構完整的P幀圖像
- P幀屬於前向預測的幀間編碼。它只參考前面最靠近它的 I 幀或P幀
- 由於P幀是參考幀，它可能造成解碼錯誤的擴散。也就是說如果p幀解碼失敗了，一組內的gop後面的b幀/p幀失敗。它最多也就影響一個gop序列。
- 由於是差值傳送，P幀的壓縮比較高。
總之，p幀就是差別幀，p幀越多，說明畫面變化不多。
3.2.3 B幀-雙向預測內插編碼幀
B幀是雙向差別幀，也就是B幀記錄的是本幀與前後幀的差別，要解碼B幀。不僅要取得之前的緩存畫面，還要解碼之後的畫面，通過前後畫面的與本幀數據的疊加取得最終的畫面。B幀壓縮率高，但是解碼時費時間，如果是軟解碼就耗cpu了。
B幀的預測與重構
B幀以前面的 I 或P幀和後面的P幀爲參考幀，“找出”B幀“某點”的預測值和兩個運動矢量，並取預測差值和運動矢量傳送。接收端根據運動矢量在兩個參考幀中“找出（算出）”預測值並與差值求和，得到B幀“某點”樣值，從而可得到完整的B幀。
B幀的特點：
- B幀是由前面的 I 或P幀和後面的P幀進行預測的
- B幀傳送的是它與前面的 I 或P幀和後面的P幀之間的預測誤差及運動矢量
- B幀是雙向預測編碼幀
- B幀壓縮比最高，因爲它只反映並參考幀間運動主體的變化情況，預測比較準確
- B幀不是參考幀，不會造成解碼錯誤的擴散
總之，b幀數據較小，b幀越多，視頻越小。
注：I、B、P幀是根據壓縮算法是人爲定義的，一般來說，幀的壓縮率是7（跟JPG差不多），P幀是20，B幀可以達到50。
3.3 GOP/序列
Group of picture(圖像組)。
在相鄰幾幅圖像畫面中，一般有差別的像素只有10%以內的點,亮度差值變化不超過2%，而色度差值的變化只有1%以內，我們認爲這樣的圖可以分到一組。在這樣一組幀中，經過h264編碼後，只保留第一幀的完整數據，其它幀都通過參考上一幀計算出來。我們稱第一幀爲IDR／I幀，其它幀我們稱爲P／B幀，這樣編碼後的數據幀組我們稱爲GOP。GOP如下，圖片來源網絡：
當視頻的元素運動變化比較少時，一個序列可以很長，因爲運動變化少就代表圖像畫面內容的變動很小，所以就可以是一個I幀，然後是P幀B幀。如果變化很大，比如圖片形成的視頻，一個序列可能就比較短了，可能就包含一個i幀，幾個P幀B幀了。
3.4 IDR圖像
1個序列的第一個圖像叫做IDR圖像（立刻刷新圖像），IDR圖像都是I幀圖像。h264引入IDR圖像是爲了解碼的重新同步，當解碼器解碼到IDR圖像時，立刻將參考幀隊列清空，將已經解碼的全部輸出或者拋棄，重新查找下一個參數集，開始解碼下一個新的序列。這樣當錢一個序列出現重大錯誤，在這裏可以重新獲得同步的機會。IDR圖像之後的圖像不會使用IDR之前圖像的數據進行解碼。
所以說IDR圖像都是I幀，但是I幀不一定是IDR圖像。
3.5 DTS和PTS
DTS: Decode Time Stamp,表示讀入內存的比特流在什麼時候開始送入解碼器中進行解碼。解碼的順序
PTS: Presentation Time Stamp,表示解碼後的視頻幀什麼時候被顯示出來，顯示順序。
圖片來源網絡：
因爲B幀需要前後的幀（前面的 I 或P幀和後面的P幀）才能解出圖像。也就是說一組GOP必須解碼出I幀P幀後才能解碼出來B幀，並不是B幀的數據先到了就先解碼b幀的數據
3.6 宏塊/MB（Macroblock）
就是圖像中的一小塊區域。h264位了壓縮而採用的一種劃分方法。
H264編碼器爲每一幅圖片劃分宏塊，默認是使用 16X16 大小的區域作爲一個宏塊，也可以劃分成 8X8 大小。一般比較平坦的圖像使用 16X16 大小的宏塊，爲了更高的壓縮率在在16X16 的宏塊上分出更小的子塊。子塊的大小可以是 8X16､ 16X8､ 8X8､ 4X8､ 8X4､ 4X4
4.H264的壓縮原理
我個人理解這個代碼實現是很複雜的，發展了10幾年才穩定成熟。不用你手寫實現也不用關注特別細的實現，但是需要了解下它的基本原理，壓縮的過程，採用的方法進行的視頻壓縮。
4.1壓縮技術
簡單點說就是：視頻數據主要分爲兩類數據冗餘，一個是時間上的冗餘，一個是空間上的冗餘。分別對其進行壓縮，壓縮技術我們分別叫做幀間壓縮技術和幀內壓縮技術。
時間上： 將一定時間內視頻圖像運動變化不大關聯性性很強的進行分組（GOP），然後對這組序列進行編碼，只保留第一幀的完整數據，其它幀都通過參考上一幀計算出來。那第一幀爲IDR／I幀，其它幀爲P／B幀，這樣編碼後的數據幀組我們稱爲GOP。壓縮過程中有運動矢量與補償算法和劃分宏塊（MB）以及對宏塊的處理壓縮。當下一組視頻內的圖像變化很大的時候又是一組新的GOP，反覆循環。這種我們就叫幀間壓縮技術，解決的是時域數據冗餘問題。
空間上：對視頻圖像劃分宏塊，H264對比較平坦的圖像使用 16X16 大小的宏塊，可以在16x16的基礎上更細粒度的劃分，這樣再經過幀內壓縮，得到更高效的數據。這種我們就叫幀內壓縮技術，解決的是空域數據冗餘問題。
幀間壓縮和幀內壓縮後還需要進行壓縮，比如：
還有編碼上冗餘：根據不同像素值出現的概率不同進行算法處理
還有視覺冗餘：人的視覺系統對某些細節不敏感就可以適當的刪減
基本原理參考這篇文章https://zhuanlan.zhihu.com/p/31056455
介紹了些h264的基本知識和有關概念，h264的知識遠遠不止這些。如有描述不準確歡迎指正。下篇介紹h264數據流格式以及如何在Android中硬解碼播放h264碼流。