一．視頻基礎知識
1. 視頻編碼原理
視頻圖像數據有極強的相關性，也就是說有大量的冗餘信息。其中冗餘信息可分爲空域冗 餘信息和時域冗餘信息。壓縮技術就是將數據中的冗餘信息去掉（去除數據之間的相關性）， 壓縮技術包含幀內圖像數據壓縮技術、幀間圖像數據壓縮技術和熵編碼壓縮技術。
1.1去時域冗餘信息
使用幀間編碼技術可去除時域冗餘信息，它包括以下三部分：
A．運動補償:運動補償是通過先前的局部圖像來預測、補償當前的局部圖像，它是減少幀序列冗餘信息的有效方法。
B．運動表示:不同區域的圖像需要使用不同的運動矢量來描述運動信息。運動矢量通過熵編碼進行壓縮。
C．運動估計:運動估計是從視頻序列中抽取運動信息的一整套技術。
注：通用的壓縮標準都使用基於塊的運動估計和運動補償。
1.2去空域冗餘信息
A．變換編碼:幀內圖像和預測差分信號都有很高的空域冗餘信息。變換編碼將空域信號變換到另一正交矢量空間，使其相關性下降，數據冗餘度減小。
B．量化編碼:經過變換編碼後，產生一批變換系數，對這些係數進行量化，使編碼器的輸出達到一定的位率。這一過程導致精度的降低。
C．熵編碼:熵編碼是無損編碼。它對變換、量化後得到的係數和運動信息，進行進一步的壓縮。
2. 視頻編碼解碼標準
2.1 H.264
H.264是國際標準化組織（ISO）和國際電信聯盟（ITU）共同提出的繼MPEG4之後的新一代數字視頻壓縮格式，它即保留了以往壓縮技術的優點和精華又具有其他壓縮技術無法比擬的許多優點。
H.264最大的優勢是具有很高的數據壓縮比率，在同等圖像質量的條件下，H.264的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。舉個例子，原始文件的大小如果爲88GB，採用MPEG-2壓縮標準壓縮後變成3.5GB，壓縮比爲25∶1，而採用H.264壓縮標準壓縮後變爲879MB，從88GB到879MB，H.264的壓縮比達到驚人的102∶1。低碼率（Low Bit Rate）對H.264的高的壓縮比起到了重要的作用，和MPEG-2和MPEG-4 ASP等壓縮技術相比，H.264壓縮技術將大大節省用戶的下載時間和數據流量收費。尤其值得一提的是，H.264在具有高壓縮比的同時還擁有高質量流暢的圖像，正因爲如此，經過H.264壓縮的視頻數據，在網絡傳輸過程中所需要的帶寬更少，也更加經濟。
2.2 MPEG
MPEG-1增加了對半像素運動補償和雙向運動預測幀。和H.261一樣，MPEG-1只支持逐行掃描的視頻輸入。
MPEG-2最大的改進在於增加了對隔行掃描視頻的支持。MPEG-2可以說是一個相當老的視頻編碼標準，但是它已經具有很大的普及度和市場接受度。
MPEG-4第二部分標準可以使用在網絡傳輸、廣播和媒體存儲上。和MPEG-2一樣，它同時支持逐行掃描和隔行掃描。
2.3 H.263
H.263主要用在視頻會議、視頻電話和網絡視頻上。在對逐行掃描的視頻源進行壓縮的方面，H.263比它之前的視頻編碼標準在性能上有了較大的提升。尤其是在低碼率端，它可以在保證一定質量的前提下大大的節約碼率。
2.4 H.261
H.261主要在老的視頻會議和視頻電話產品中使用。H.261是由ITU-T開發的，第一個使用的數字視頻壓縮標準。實質上說，之後的所有的標準視頻編解碼器都是基於它設計的。它使用了常見的YCbCr顏色空間，4:2:0的色度抽樣格式，8位的抽樣精度，16x16的宏塊，分塊的運動補償，按8x8分塊進行的離散餘弦變換，量化，對量化係數的Zig-zag掃描，run-level符號影射以及霍夫曼編碼。H.261只支持逐行掃描的視頻輸入。
2.5 AVS
AVS是中國製定的音視頻壓縮編碼標準，故準確來說，其不僅僅包括視頻編碼標準。它最主要的目的是通過採用與H.264不同的專利授權方式，來避免付出大筆的專利授權費用。在技術上，AVS的視頻編碼部分採用的技術與H.264非常相似，但採取了一些簡化措施。這樣做，其一可以迴避一些非必要專利，另外據稱也可以在幾乎不影響編碼壓縮效率的基礎上，提高編解碼速度。
2.6 DivX，XviD和3ivx
DivX，XviD和3ivx視頻編解碼器基本上使用的都是MPEG-4第二部分的技術，以後綴*.avi, *.mp4, *.ogm 或者 *.mkv 結尾的文件有一部分是使用這些視頻編解碼器的。
2.7 WMV
WMV（Windows Media Video）是微軟公司的視頻編解碼器家族，包括WMV 7、WMV 8、WMV 9、WPV 10。這一族的編解碼器可以應用在從撥號上網的窄帶視頻到高清晰度電視(HDTV)的寬帶視頻。使用Windows Media Video用戶還可以將視頻文件刻錄到CD、DVD或者其它一些設備上。它也適用於用作媒體服務器。WMV 可以被看作是MPEG-4的一個增強版本。最新的WMV的版本是正在SMPTE制定中的VC-1標準。WMV-9（VC-1，開發代號爲“Corona”）剛推出的時候稱爲VC-9，之後才被電影電視工程師協會(SMPTE)改稱爲VC-1（VC指Video Codec）。技術上，VC-1也與H.264有諸多相似之處。
3.視頻採集
視頻採集（Video Capture）把模擬視頻轉換成數字視頻，並按數字視頻文件的格式保存下來。所謂視頻採集就是將模擬攝像機、錄像機、LD視盤機、電視機輸出的視頻信號，通過專用的模擬、數字轉換設備，轉換爲二進制數字信息的過程。
4．常見視頻參數
4.1分辨率:
分辨率就是屏幕圖像的精密度，是指顯示器所能顯示的像素的多少。
常見分辨率:176 x 144、320x 240、640 x 400、640 x 480、800x 480、800 x 600 、1024 x 600、1024x 768、1280 x 720、1280 x 1024、1400x 1050、1600 x 1200、1920 x 1200、2048x 1536、2560 x 2048、3200 x 2400
4.2清晰度:
250P：320x250
360P：480x360
720P：1280x720
1080P：1920x1080
4.3編碼率/比特率
碼率也叫比特率，表示經過壓縮編碼後的視音頻數據每秒需要用多少個比特來表示，即把每秒顯示的圖像進行壓縮後的數據量，一般採用的單位是kbps即千位每秒。碼率是每秒播放多少KB,以KB/S爲單位，通常情況下：
1920*1080分辨率的視頻，碼率應該在8M以上；1080*720的分辨率，應該在5M左右；720*576分辨率，應該在3M左右；640*480分辨率，應該在1.5M左右；320*240的分辨率，應該在600K左右。
4.4幀率
幀率（Framerate）是用於測量顯示幀數的量度。所謂的測量單位爲每秒顯示幀數(Frames per Second，簡稱：FPS）或“赫茲”（Hz）。每秒的幀數(fps)或者說幀率表示圖形處理器處理場時每秒鐘能夠更新的次數。高的幀率可以得到更流暢、更逼真的動畫。一般來說30fps就是可以接受的，但是將性能提升至60fps則可以明顯提升交互感和逼真感，但是一般來說超過75fps一般就不容易察覺到有明顯的流暢度提升了。
同樣分辨率下，視頻文件的碼流越大，壓縮比就越小，畫面質量就越高。
4.5採樣率
在模擬視頻中，採樣率定義爲幀頻和場頻，而不是概念上的像素時鐘。圖像採樣頻率是傳感器積分週期的循環速度。由於積分週期遠遠小於重複所需時間，採樣頻率可能與採樣時間的倒數不同。
50 Hz - PAL 視頻
60 / 1.001 Hz - NTSC 視頻
當模擬視頻轉換爲數字視頻的時候，出現另外一種不同的採樣過程，這次是使用像素頻率。一些常見的像素採樣率有：13.5 MHz - CCIR 601、D1 video
5.視屏傳輸協議
5.1 RTP
RTP（Real-TimeTransport Protocol）/RTCP（Real-Time Transport Control Protocol） 是一種應用型的傳輸層協議，它並不提供任何傳輸可靠性的保證和流量的擁塞控制機制。它是由IETF（InternetEngineering Task Force）爲視音頻的實時傳輸而設計的傳輸協議。RTP協議位於UDP協議之上，在功能上獨立於下面的傳輸層（UDP）和網絡層，但不能單獨作爲一個層次存在，通常是利用低層的UDP協議對實時視音頻數據進行組播（Multicast）或單播（Unicast）,從而實現多點或單點視音頻數據的傳輸。
RTP協議被設計成能夠爲某種特定的應用提供服務的一種協議。實際上，RTP協議的實現已經 被融合到應用程序中來。RTP沒有連接的概念，它既可以建立在面向連接的底層協議上，也可以建 立在面向無連接的底層協議上，因此RTP協議對傳輸層是獨立的。RTP協議一般由兩個部分組成： 數據報文部分（RTP報文）和控制報文部分（RTCP）。
5.2 UDP
UDP是一種無連接的數據報投遞服務，雖然沒有TCP那麼可靠，並且無法保證實時視音頻傳輸業務的服務質量（QoS）,需要RTCP實時監控數據傳輸和服務質量，但是，由於UDP的傳輸延時低於TCP，能與音頻和視頻流很好地匹配。因此，在實際應用中，RTP/RTCP/UDP用於音視頻媒體，而TCP用於數據和控制信令的傳輸。
6. 影響視頻質量的因素
6.1 編碼/壓縮的性能
影響音/視頻流的壓縮/編碼性能的因素很多，首先是壓縮效率。壓縮效率要求在保證一定音/視頻質量的前提下，媒體流的碼流速率儘量低。其次是編碼的冗餘性和可靠性。與普通的多媒體文件壓縮/編碼不同的是，流媒體文件需要在網絡上實時傳輸，因此必須考慮傳輸中數據丟失對解碼質量的影響。爲了解決這個問題，採用了一些先進的編碼技術，例如錯誤彈性編碼(ErrorResilient Encoding)：在編碼中通過適當的控制使得發生數據丟失後能夠最大限度地減少對質量的影響。AnyChat採用國際領先的視頻編碼標準H.264（MPEG-4 part 10 AVC /H.264）編碼，H.264/AVC 在壓縮效率方面有着特殊的表現，一般情況下達到 MPEG-2 及 MPEG-4 簡化類壓縮效率的大約 2 倍。
H.264具有許多與舊標準不同的新功能，它們一起實現了編碼效率的提高。特別是在幀內預測與編碼、幀間預測與編碼、可變矢量塊大小、四分之一像素運動估計、多參考幀預測、自適應環路去塊濾波器、整數變換、量化與變換系數掃描、熵編碼、加權預測等實現上都有其獨特的考慮。
6.2服務器性能
隨着流媒體規模的擴大，流媒體服務器的性能成爲制約流媒體服務擴展能力的重要因素。流媒體服務器性能的關鍵指標是流輸出能力和能同時支持的併發請求數量。影響流媒體服務器性能的因素很多，包括CPU能力，I/O總線，存儲帶寬等。通常，單個流媒體服務器的併發數都在幾百以內，因此，爲了具有更好的性能，目前的高性能流媒體服務器都採用大規模並行處理的結構，例如採用超立方體的結構將各個流媒體服務單元連接起來。還有一種方法是採用簡單的PC集羣的方式，這種方式下多個PC流媒體服務器用局域網連接，前端採用內容交換/負載均衡器將流媒體服務的請求分佈到各個PC媒體服務單元。後一種方式性能較前一種方式低，但是成本低，容易實現。
針對可不經過服務器中轉的音視頻應用，採用了P2P通信技術，該技術的核心在於防火牆的穿越。使用P2P通信技術，可以大大的減輕系統服務器的負荷，併成幾何倍數的擴大系統的容量，且並不會因爲在線用戶數太多而導致服務器的網絡阻塞。
6.3 媒體流傳輸的質量控制
這是制約流媒體性能的最重要的因素。由於流媒體傳輸對網絡帶寬、延遲、丟失率等都有很高的要求，而基於無連接的包交換IP網絡對帶寬資源和服務質量的控制能力都比較弱，因此，在IP網絡上進行流媒體傳輸需要採用一些應用層的質量控制機制來解決傳輸中的問題。這些質量控制機制可以分爲幾個層次：最常用的方式是採用速率適應機制，基本的方法是通過一定的速率反饋機制，利用媒體流的速率層次編碼能力，在媒體服務器端動態地調節流媒體的傳輸速率，保證客戶端在網絡可用帶寬變化的時候也能夠正常地收看流媒體內容。速率適應機制附以差錯控制和冗餘控制能夠有效地保證流媒體的正常收看。目前流媒體的主流產品都具備應用層的速率適應能力。
7. 視頻會議基本原理
視頻會議也稱爲會議電視、視訊會議,是利用計算機技術和通信設備通過傳輸信道在兩點或多 個地點之間建立可視通信,實現數據、語音及圖像交流的一種會議形式。與會者不僅能看到對方的會場和發言人,而且可以聽到對方的聲音,如果再輔以書寫電話和電子白板等設備,就可與對方會場的與會人員進行問題研討,這和現場會議的效果基本一樣。該會議系統利用計算機強大的信息處理能力,有效地進行了協同工作,在一定程度上取代了傳統會議模式,是一種快速高效、經濟方便且應用廣泛的新工具。
視頻會議終端設備將視頻、音頻、數據和信令等各種數字信號分別進行處理後組合成一路複合的數字碼流，再將它轉變爲用戶-網絡接口兼容的，符合傳輸網絡所規定的信道幀結構的信號格式送上信道進行傳輸。完成用戶視頻、音頻和數據信號的輸入與輸出功能。
8.視頻監控基本原理
前端攝像機採集圖像信號，然後通過線纜將信號轉至存儲設備和管理設備並通過鍵盤管理顯示圖像。