H264的編碼器框圖：
編碼器採用的仍是變換和預測的混合編碼法。在圖6.1中，輸入的幀或場Fn以宏塊爲單位被編碼器處理。首先，按幀內或者幀間預測編碼的方法進行處理。如果採用幀間預測編碼，其預測值PRED是由當前片中前面已編碼的參考圖像經運動補償（MC）後得到，其中參考圖像用F'n-1表示。預測值PRED和當前塊相減後，產生一個殘差塊Dn，經塊變換、量化後產生一組量化後的變換系數X，再經熵編碼，與解碼所需的一些頭信息一起組成壓縮後的碼流，經NAL（網絡自適應層）供傳輸和存儲用。
H264的解碼器框圖：
將編碼器的NAL輸出的H264比特流經熵解碼得到量化後的一組變換系數X，再經反量化、反變換，得到殘差D'n。利用從該比特流中解碼出的頭信息，解碼器就產生一個預測塊PRED，它和編碼器中的原始PRED是相同的。當該解碼器產生的PRED與殘差D'n相加後，就得到了uF'n，再經濾波後，最後就得到濾波後的解碼輸出圖像F'n。
