web版本的音視頻聊天室開發建議

     目前網上視頻聊天室、視頻會議軟件、可視IP電話軟件隨處可見，你是否想自己做一個玩玩？其實這類軟件無非是視頻加上網絡而建成的。如果熟悉視頻捕 捉和網絡傳輸技術，根本就難不倒你。本文詳細介紹瞭如何利用別人提供的sdk來開發視頻聊天室

首先介紹一下視頻聊天技術發展歷程

　　1、 C/S結構的視頻聊天軟件或插件。這是最早的視頻聊天開發技術，已經被淘汰。

　　2、 P2P模式的視頻聊天軟件或插件。這是前幾年以及目前很多大型視頻聊天項目的主要使用技術。也是很多小型視頻聊天室使用的技術。

　　3、基於P2P模式+C/S模式混合。這是目前來說，性能最高的技術架構模式。比如QQ等聊天工具的視頻聊天功能。在P2P雙方網絡連接速度快的情況下使用P2P，速度慢的情況下使用C/S模式。

　　4、純WEB的，基於視頻服務器搭建的B/S結構視頻聊天網站。這是前1-2年視頻技術的主要研究方向。這種模式準確的說是在網站上可以使用的C/S結構。和第一階段C/S結構性能差別不大，但擁有強大的跨平臺優勢。由於其性能上無法和第2、第3階段的性能相比，而導致研究的多，但實用少，產品少。

5、 純WEB的基於視頻服務器的B/S結構+加上FLASH P2P結構。此階段是目前視頻技術的主要研究方向。但是目前的FLASH P2P無法實現數據分發、轉發等功能，採用1個人和多個人同時建立P2P連接傳輸數據的模式，所以，當人數比較多的時候，此模式會很大的佔用客戶端的帶寬。所以，此模式需要和B/S模式進行搭配。當人數多的時候，使用視頻服務器，當人數少的時候，使用P2P。

接下來就是開發所會用到的工具以及用什麼語言來開發的介紹

爲了讓大家更好的開發自己所需要的與音視頻即時通訊相關的系統。我向大家介紹介紹如何利用這個SDK來去開發，大家可以理解成爲開發指南吧

首先下載這個SDK，已經上傳到了51cto的網站上面去，大家放心使用。（windows平臺音視頻即時通訊應用開發包）

支持Windows平臺音頻即時通訊應用開發

支持C++、C#、Java、Delphi、VB.Net、Qt等開發語言

集成H.264、AAC、AMR等編解碼技術

封裝音視頻的採集、編解碼、傳輸、顯示和播放等模塊

提供客戶端SDK和服務器SDK API接口

 

下面是使用指南：（以c++爲例子）

一、初始化

該部分是首先要完成的，用於設置SDK的一些行爲，包括設置對應的回調函數、設置SDK組件路徑、設置是否產生日誌文件等，通常初始化AnyChat SDK的代碼如下（C++）：

 

 

// 打開（關閉）SDK的日誌記錄功能
BRAC_ActiveCallLog(TRUE);
    
// 設置SDK核心組件所在目錄
CHAR szCoreSDKPath[MAX_PATH] = {0};
GetModuleFileName(NULL,szCoreSDKPath,sizeof(szCoreSDKPath));
(strrchr(szCoreSDKPath,'\\'))[1] = 0;
BRAC_SetSDKOption(BRAC_SO_CORESDK_PATH,szCoreSDKPath,strlen(szCoreSDKPath));
    
// 根據BRAC_InitSDK的第二個參數：dwFuncMode，來告訴SDK該如何處理相關的任務（詳情請參考開發文檔）
DWORD dwFuncMode = BRAC_FUNC_VIDEO_CBDATA | BRAC_FUNC_AUDIO_AUTOPLAY | BRAC_FUNC_CHKDEPENDMODULE | BRAC_FUNC_AUDIO_VOLUMECALC | BRAC_FUNC_NET_SUPPORTUPNP | BRAC_FUNC_FIREWALL_OPEN |
BRAC_FUNC_AUDIO_AUTOVOLUME | BRAC_FUNC_CONFIG_LOCALINI;
BRAC_InitSDK(this->GetSafeHwnd()/*NULL*/,dwFuncMode);
    
// 設置錄像臨時文件保存路徑
CHAR szRecordDirectory[MAX_PATH] = {0};
::GetModuleFileName(NULL,szRecordDirectory,MAX_PATH);
(strrchr(szRecordDirectory,'\\'))[1] = 0;
strcat(szRecordDirectory,"Record");
BRAC_SetSDKOption(BRAC_SO_RECORD_TMPDIR,szRecordDirectory,strlen(szRecordDirectory));

// 設置錄像文件質量參數
DWORD dwVideoBitrate = 200 * 1000;    // 200kbps
BRAC_SetSDKOption(BRAC_SO_RECORD_VIDEOBR,(PCHAR)&dwVideoBitrate,sizeof(DWORD));
DWORD dwAudioBitrate = 96 * 1000;    // 96kbps
BRAC_SetSDKOption(BRAC_SO_RECORD_AUDIOBR,(PCHAR)&dwAudioBitrate,sizeof(DWORD));
    
// 設置快照臨時文件保存路徑
CHAR szSnapShotDirectory[MAX_PATH] = {0};
::GetModuleFileName(NULL,szSnapShotDirectory,MAX_PATH);
(strrchr(szSnapShotDirectory,'\\'))[1] = 0;
strcat(szSnapShotDirectory,"SnapShot");
BRAC_SetSDKOption(BRAC_SO_SNAPSHOT_TMPDIR,szSnapShotDirectory,strlen(szSnapShotDirectory));
    
// 設置SDK臨時文件路徑
CHAR szTempPath[MAX_PATH] = {0};
::GetModuleFileName(NULL,szTempPath,MAX_PATH);
(strrchr(szTempPath,'\\'))[1] = 0;
strcat(szTempPath,"Temp");
BRAC_SetSDKOption(BRAC_SO_CORESDK_TMPDIR,szTempPath,strlen(szTempPath));

// 啓用音頻自動參數功能（默認關閉）
DWORD bAudioAutoParam = TRUE;
BRAC_SetSDKOption(BRAC_SO_AUDIO_AUTOPARAM,(PCHAR)&bAudioAutoParam,sizeof(DWORD));

 

二、登錄系統

當第一步初始化完成之後，便可以連接服務器、驗證用戶身份。通常調用代碼如下（C++）：

 

1.    1.// 連接服務器 

2.    2.BRAC_Connect("211.155.25.90",8906); 

3.    3.// 登錄系統 

4.    4.BRAC_Login("testuser","",0); 

連接服務器與登錄系統都是一個異步的過程，調用後會立即返回，其中：

a、連接服務器成功，或是失敗，將會觸發異步消息

b、登錄系統成功，或是失敗，將會觸發異步消息

所以應用程序需要響應這些異步消息才能知道連接服務器、登錄系統是否成功。

 

登錄系統成功後，如果需要實現即時通訊應用中的好友列表（AnyChat默認沒有實現），則需要利用AnyChat的擴展API接口與Server SDK來配合實現，具體實現方案可參考SDK包中的：doc\server\目錄下的《AnyChat Server SDK 開發指南》第6章節。

 

登錄系統成功後，服務器會返回一個32位的用戶ID，如果登錄時沒有傳入密碼參數，則系統會認爲是遊客登錄，並分配一個獨立的用戶ID（如-1、-2等），如果登錄時傳入了密碼參數，則登錄請求將會交給“SDK Filter Plus”接口，或“Server SDK”對應的接口，用戶可開發一個自己的服務器插件“SDK Filter Plus”，或是調用“Server SDK”所對應的API來處理用戶身份驗證的請求，完成對用戶ID的管理，實現與第三方系統的互聯互通，詳細內容可參考SDK包中的：doc\server\目錄下的相關文檔。

 

三、進入房間

在第二步登錄系統成功之後，就可以進入房間，因爲只有在房間中，才能完成語音和視頻的交互。通常調用代碼如下（C++）：

 

1.    1.// 進入房間 

2.    2.BRAC_EnterRoom(1,"",0); 

房間由服務器動態管理，由32位的房間ID號來唯一標示，當客戶端指定的房間ID號不存在時，服務器將會自動創建。進入房間也是一個異步的過程，是否成功將會觸發異步消息，進入房間成功後，服務器會把當前房間的在線用戶列表傳給客戶端，傳輸完成後，將會觸發異步消息（該消息只觸發一次），只有收到服務器的在線用戶列表後，才能對房間內的用戶進行音視頻的相關操作。

 

當自己進入房間成功，且收到服務器的在線用戶消息後，有新的用戶進入房間，或是老用戶離開房間，將會觸發異步消息，這樣自己便知道誰進入，或是離開了房間。

 

1、打開自己的音視頻

進入房間成功之後，便可以打開自己的音視頻設備，通常調用代碼如下（C++）：

 

1.    1.// 打開自己的視頻設備 

2.    2.BRAC_UserCameraControl(-1,TRUE); 

3.    3.// 打開自己的音頻設備 

4.    4.BRAC_UserSpeakControl(-1,TRUE); 

打開自己的設備後，並不會立即上傳音視頻流，只有當其它用戶請求自己的音視頻數據時（可單獨請求音頻流，或視頻流）纔對外傳輸，打開自己的音視頻設備，默認是按服務器的配置信息來初始化設備（如採樣分辨率、視頻幀率、音頻的採樣頻率等）

 

2、請求其它用戶的音視頻

如果需要顯示其它用戶的音視頻，則必須在收到房間用戶列表消息後，請求對方的音視頻流，然後對方纔將音視頻流傳輸過來，通常請求其它用戶的音視頻數據調用代碼如下（C++）：

 

1.    1.// 請求對方的視頻流 

2.    2.BRAC_UserCameraControl(dwUserId,TRUE); 

3.    3.// 請求對方的音頻流 

4.    4.BRAC_UserSpeakControl(dwUserId,TRUE); 

數據傳輸優先P2P方式，只有當P2P不通時，才由服務器轉發，P2P的NAT打洞過程，以及數據流傳輸策略均由服務器控制，只要有請求，而且對方已打開了自己的音視頻設備，則就能收到對方的音視頻流數據。

 

3、音視頻的播放與顯示

當收到其它用戶的音頻數據後：

a）如果在初始化時設置了“BRAC_FUNC_AUDIO_AUTOPLAY”標誌，則SDK內部將會自動播放，自動混音；

b）如果在初始化時設置了“BRAC_FUNC_AUDIO_CBDATA”標誌，則SDK會將解碼後的音頻數據（PCM格式）通過回調函數回調給上層應用。

 

當收到其它用戶的視頻數據後：

a）如果在初始化時設置了“BRAC_FUNC_VIDEO_AUTODISP”標誌，並且調用了API，則SDK內部將會把視頻顯示到指定的窗體的指定位置（在指定位置上自動迭加一個視頻窗口）；

b）如果在初始化時設置了“BRAC_FUNC_VIDEO_CBDATA”標誌，則SDK會將解碼後的視頻數據（RGB、YUV）通過回調函數回調給上層應用，由上層應用自己來繪製，或渲染，該模式適合於DirectX、HGE等沒有窗口模式下的應用程序，或是上層應用需要對視頻進行特殊處理的場合，如迭加文字、logo等。

 

4、文字交互

成功進入房間後， 便可以調用API接口向指定用戶，或是房間中的所有用戶發送文字消息：

 

1.    1.// 發送文字消息 

2.    2.CString strInput = "hello world"; 

3.   3.BRAC_SendTextMessage(-1,FALSE,strInput.GetBuffer(0),strInput.GetLength()); 

其它用戶收到自己發送的文字消息後，便會觸發回調函數，通過處理回調消息，然後將收到的文字消息顯示在界面上，便可實現文字的交互。

 

5、業務邏輯處理

 

AnyChat SDK內置的基本邏輯是：當自己的音視頻設備打開後，別的用戶有請求，便會將流媒體數據傳輸給對方，而沒有任何何業務邏輯。

a）如要實現視頻會議系統，則用戶進入房間後，就需要知道誰是主持人，然後打開主持人的視頻；

b）如要實現視頻聊天系統，則用戶進入房間後，就需要知道當前房間有幾個公麥，誰在公麥上，然後打開對應公麥用戶的視頻等；

c）……

這些業務邏輯需要與服務器端的“SDK Filter Plus”或“AnyChat Server SDK”互相配合來實現，具體的實現方案可參考SDK包中的：doc\server\目錄下的《AnyChat Server SDK 開發指南》第6章節。

 

四、釋放資源

與前面連接服務器、登錄系統、進入房間對應的，退出系統的過程是：離開房間、註銷系統、釋放資源，通常調用代碼如下（C++）：

 

1.    1.// 離開房間 

2.    2.BRAC_LeaveRoom(-1); 

3.    3.// 註銷系統（將關閉網絡連接） 

4.    4.BRAC_Logout(); 

5.    5.// 釋放資源 

6.    6.BRAC_Release(); 

離開房間後，可以進入新的房間，系統註銷之後，可以再次調用連接服務器的API接口，但是釋放資源後，SDK將不再工作。