文章目錄
安卓直播推流專欄博客總結
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;
2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )
3. 講解 RTMP 數據包封裝格式 :
4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;
-
【Android RTMP】Android Camera 視頻數據採集預覽 ( 視頻採集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )
-
【Android RTMP】Android Camera 視頻數據採集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )
-
【Android RTMP】Android Camera 視頻數據採集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :
-
【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )
-
【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據採集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼後的數據處理 | 封裝 H.264 視頻數據幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啓用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )
7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )
8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :
-
【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )
-
【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 後置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )
9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;
10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :
-
【Android RTMP】音頻數據採集編碼 ( 音頻數據採集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數據採集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻採樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數據採集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )
-
【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
-
【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻採樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;
Android 端中主要完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;
之前的博客中基本實現了 Camera 採集 NV21 格式圖像並使用 x264 編碼圖像爲 H.264 視頻 , 使用 RTMPDump 將 H.264 視頻幀信息打包爲 RTMP 數據包 , 推流到服務器端 ;
當前的問題是 , 推流到服務器端的 NV21 格式的圖像被逆時針旋轉了 90 度 ;
一、 NV21 圖像格式與 Camera圖像傳感器方向問題
1. Camera 採集畫面並預覽推流 : 這裏注意 , 之前圖像被逆時針旋轉了 90 度 , 設置了圖像傳感器角度後 , 預覽圖片糾正過來了 , 但是 Camera 的圖像傳感器採集的 NV21 格式的圖像還是被旋轉了 90 度 ;
2 . 電腦端觀看直播效果展示 : 屏幕畫面被逆時針旋轉了 90 度 , 這是因爲之前攝像頭傳感器只設置了將預覽畫面糾正過來 , 但是 NV21 格式的圖像數據還是被逆時針旋轉了 90 度的數據 ;
具體涉及到的圖像格式 , 以及圖像傳感器方向 , 屏幕方向的關係 , 參考博客 【Android RTMP】Android Camera 視頻數據採集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
二、 NV21 圖像格式視頻旋轉
1. 圖像旋轉問題及解決方案 ( 順時針旋轉 90 度 )
圖像旋轉問題及解決方案 :
① 問題描述 : 分析上面的畫面 , 可以看到視頻被逆時針旋轉了 90 度 , 即畫面圖像被逆時針旋轉了 90 度 ;
② 解決方案 : 將 Camera 採集的 NV21 格式的圖像順時針旋轉 90 度 , 即可解決上述問題 ;
2. NV21 圖像格式數旋轉方案
NV21 圖像格式數據排列 : 以 像素的圖片爲例 , 其有 個 Y 數據 , UV 數據只有 組 , 共 個 ;
1 . 數據的排列格式如下矩陣 : 個 Y 數據在前 , 然後 組 ( 個 ) VU 數據交替存放 ;
2 . 旋轉像素灰度值 Y : 像素值順時針 90 度旋轉後的樣式 ;
① 旋轉矩陣 :
② 旋轉後的最終 Y 灰度值 矩陣 :
3. 旋轉圖像的 飽和度 色彩值 UV
旋轉圖像的 飽和度 色彩值 UV : UV 數據旋轉後 , 只是給出了 UV 數據的位置 , 還需要將 UV 數據按照順序排列 :
① 旋轉 UV 數據矩陣 : 該旋轉後只能代表 UV 數據組的位置 , 即 第一組 UV 數據 ( ) 在左上角 , 第二組 UV 數據 ( ) 在右上角 , 第三組 UV 數據 ( ) 在左下角 , 第四組 UV 數據 ( ) 在右下角 ;
② 旋轉後的最終 UV 色彩值 飽和度 矩陣 :
4. 旋轉後的 NV21 格式
NV21 格式的圖像的 YUV 值順時針旋轉 90 度後的 YUV 矩陣爲 :
三、 Android 手機端屏幕旋轉方向
1. 獲取手機屏幕方向
獲取手機屏幕方向 : 調用下面的方法 , 可以獲取到 個手機屏幕方向 ;
mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();
調用上述方法 , 獲取的手機屏幕方向是 Surface.ROTATION_0 , Surface.ROTATION_90 , Surface.ROTATION_180 , Surface.ROTATION_270 , 四個常量中的一個
2. Surface.ROTATION_0 正常豎屏方向
Surface.ROTATION_0 正常豎屏方向 :
① 常量含義 : ROTATION_0 常量代表手機自然方向逆時針旋轉 0 度, 豎屏 ;
② 方向說明 :
- 頭部 ( 攝像頭的一邊 ) 在上邊
- 尾部 ( Home / 返回 鍵的一邊 ) 在下邊
一般的豎屏操作方式, 也是最常用的方式 ;
3. Surface.ROTATION_90 正常豎屏方向
Surface.ROTATION_90 正常豎屏方向 :
① 常量含義 : ROTATION_90 常量代表手機自然方向逆時針旋轉 90 度, 橫屏 ;
② 方向說明 :
- 頭部 ( 攝像頭的一邊 ) 在左邊
- 尾部 ( Home / 返回 鍵的一邊 ) 在右邊
一般橫屏操作方式 ;
4. Surface.ROTATION_180 正常豎屏方向
Surface.ROTATION_180 正常豎屏方向 :
① 常量含義 : ROTATION_180 常量代表手機自然方向逆時針旋轉 180 度, 豎屏 ;
② 方向說明 :
- 頭部 ( 攝像頭的一邊 ) 在下邊
- 尾部 ( Home / 返回 鍵的一邊 ) 在上邊
一般很少這樣操作 ;
5. Surface.ROTATION_270 正常豎屏方向
Surface.ROTATION_270 正常豎屏方向 :
① 常量含義 : ROTATION_270 常量代表手機自然方向逆時針旋轉 270 度, 橫屏 ;
② 方向說明 :
- 頭部 ( 攝像頭的一邊 ) 在右邊
- 尾部 ( Home / 返回 鍵的一邊 ) 在左邊
一般橫屏操作方式 ;
四、 Android 手機端屏幕方向獲取代碼示例
Android 手機端屏幕方向獲取代碼示例 :
/**
* 設置 Camera 預覽方向
* 如果不設置, 視頻是顛倒的
* 該方法內容拷貝自 {@link Camera#setDisplayOrientation} 註釋, 這是 Google Docs 提供的
* @param parameters
*/
private void setCameraPreviewOrientation(Camera.Parameters parameters) {
Camera.CameraInfo info = new Camera.CameraInfo();
Camera.getCameraInfo(mCameraFacing, info);
/*
獲取屏幕相對於自然方向的角度
自然方向就是正常的豎屏方向, 攝像頭在上, Home 鍵在下, 對應 Surface.ROTATION_0
ROTATION_0 是自然方向逆時針旋轉 0 度, 豎屏
頭部 ( 攝像頭的一邊 ) 在上邊
尾部 ( Home / 返回 鍵的一邊 ) 在下邊
一般豎屏操作方式, 也是最常用的方式
ROTATION_90 是自然方向逆時針旋轉 90 度, 橫屏
頭部 ( 攝像頭的一邊 ) 在左邊
尾部 ( Home / 返回 鍵的一邊 ) 在右邊
一般橫屏操作方式
ROTATION_180 是自然方向逆時針旋轉 180 度, 豎屏
頭部 ( 攝像頭的一邊 ) 在下邊
尾部 ( Home / 返回 鍵的一邊 ) 在上邊
一般很少這樣操作
ROTATION_270 是自然方向逆時針旋轉 270 度, 橫屏
頭部 ( 攝像頭的一邊 ) 在右邊
尾部 ( Home / 返回 鍵的一邊 ) 在左邊
一般很少這樣操作
博客中配合截圖說明這些方向
*/
mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();
int degrees = 0;
switch (mRotation) {
case Surface.ROTATION_0:
degrees = 0;
/*
Camera 圖像傳感器採集的數據是按照豎屏採集的
原來設置的圖像的寬高是 800 x 400
如果屏幕豎過來, 其寬高就變成 400 x 800, 寬高需要交換一下
這裏需要通知 Native 層的 x264 編碼器, 修改編碼參數 , 按照 400 x 800 的尺寸進行編碼
需要重新設置 x264 的編碼參數
*/
mOnChangedSizeListener.onChanged(mHeight, mWidth);
break;
case Surface.ROTATION_90:
degrees = 90;
break;
case Surface.ROTATION_180:
degrees = 180;
break;
case Surface.ROTATION_270:
degrees = 270;
break;
}
int result;
if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
result = (info.orientation + degrees) % 360;
result = (360 - result) % 360; // compensate the mirror
} else { // back-facing
result = (info.orientation - degrees + 360) % 360;
}
mCamera.setDisplayOrientation(result);
}