文章目錄

安卓直播推流專欄博客總結

Android RTMP 直播推流技術專欄 :

0 . 資源和源碼地址 :

資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

3. 講解 RTMP 數據包封裝格式 :

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

11. 解析 AAC 音頻格式 :

【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 )

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :

Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;

Android 端中主要完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;

本篇博客中主要講解 Android 端數據採集 , Camera 攝像頭獲取 NV21 數據後 , 將 NV21 數據轉爲 x264 需要的 I420 數據 , 然後將 I420 數據編碼成 H.264 格式的數據 ;

一、 NV21 與 I420 數據格式轉換

1 . 採集數據 :

① Camera 採集的數據 : 上面講解了 Camera 攝像頭採集圖像數據之後 , 會回調 PreviewCallback 接口的 onPreviewFrame 方法 , onPreviewFrame 方法的 byte[] data 參數 , 就是 Camera 採集的圖像數據 ;

② 採集的數據格式 : Camera 採集的圖像數據是 NV21 格式的 ;

2 . x264 接收的格式 :

① RTMP 推流過程 : 在 RTMP 推流過程中 , 手機 Camera 採集到數據後 , 需要先使用 x264 將數據編碼成 H.264 格式的 , 然後將 H.264 數據打包成 RTMP 數據 ;

② x264 接收格式 : x264 開源庫的輸入數據類型必須是 I420 格式 , 這裏就涉及到了將 Camera 採集的 NV21 格式的數據 , 轉爲 x264 開源庫需要的 I420 格式的數據 ;

3 . YUV420 格式 :

① 兩個分支格式 : NV21 圖像格式和 I420 圖像格式都屬於 YUV420 圖像格式的分支 ;

② YUV 說明 : YUV 各種中的 Y 表示明亮度和灰度 , UV 表示色度和飽和度 ;

③ 黑白圖片 : 如果只有 Y 數據 , 那麼就是灰度圖片 , 這張圖片是黑白的 ; UV 數據表示的是圖像的色彩 ;

④ 存儲原理 : 灰度數據 Y 保證全部滿足 , 多個灰度數據公用 UV 色彩數據 , 這樣就可以減少圖像數據的大小 ;

二、 NV21 數據格式

NV21 圖像格式數據排列 : 以 $4 \times 4$ 像素的圖片爲例 , 其有 $16$ 個 Y 數據 , UV 數據只有 $4$ 組 , 共 $8$ 個 ;

① 數據的排列格式如下矩陣 :

$\begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ v1 & u1 & v2 & u2 \\\\ v3 & u3 & v4 & u4\\ \end{bmatrix}$

② 內存中的數據表示 : 這也是 NV21 數據中的數組排列方式 , 每個 YUV 數據各佔 $1$ 字節 , 如 $1$ 個 Y 數據佔 $1$ 字節 ;

byte[] data = {
	y1 , y2 , y3 , y4 ,
	y5 , y6 , y7 , y8 ,
	y9 , y10, y11, y12,
	y13, y14, y15, y16,
	v1 , u1 , v2 , u2 , 
	v3 , u3 , v4 , u4 , 
}

③ 數據使用情況 :

灰度數據 y1 , y2 , y5 , y6 使用的是 v1 , u1 色彩數據 ;
灰度數據 y3 , y4 , y7 , y8 使用的是 v2 , u2 色彩數據 ;
灰度數據 y9 , y10, y13, y14 使用的是 v3 , u3 色彩數據 ;
灰度數據 y11, y12, y15, y16 使用的是 v4 , u5 色彩數據 ;

三、 I420 數據格式

I420 圖像格式數據排列 : 以 $4 \times 4$ 像素的圖片爲例 , 其有 $16$ 個 Y 數據 , UV 數據只有 $4$ 組 , 共 $8$ 個 ;

① 數據的排列格式如下矩陣 :

$\begin{bmatrix} y1 & y2 & y3 & y4 \\\\ y5 & y6 & y7 & y8 \\\\ y9 & y10& y11& y12 \\\\ y13& y14& y15& y16 \\\\ u1 & u2 & u3 & u4 \\\\ v1 & v2 & v3 & v4\\ \end{bmatrix}$

② 內存中的數據表示 : 這也是 NV21 數據中的數組排列方式 , 每個 YUV 數據各佔 $1$ 字節 , 如 $1$ 個 Y 數據佔 $1$ 字節 ;

byte[] data = {
	y1 , y2 , y3 , y4 ,
	y5 , y6 , y7 , y8 ,
	y9 , y10, y11, y12,
	y13, y14, y15, y16,
	u1 , u2 , u3 , u4 , 
	v1 , v2 , v3 , v4
}

③ 數據使用情況 :

灰度數據 y1 , y2 , y5 , y6 使用的是 v1 , u1 色彩數據 ;
灰度數據 y3 , y4 , y7 , y8 使用的是 v2 , u2 色彩數據 ;
灰度數據 y9 , y10, y13, y14 使用的是 v3 , u3 色彩數據 ;
灰度數據 y11, y12, y15, y16 使用的是 v4 , u5 色彩數據 ;

四、 NV21 格式與 I420 格式對比

NV21 格式與 I420 格式對比 :

① 數據量 : 相同像素點數的圖像 , 其數據大小是相同的 ;

② Y 灰度值排列 : 其灰度值排列方式是相同的 , 都是在 1 ~ 16 位置依次排列 16 個像素點數 ;

③ UV 色彩值排列 : 其色彩值排列是不同的 ,

NV21 格式中 , UV 色彩值是交替排序的 , v1 , u1 , v2 , u2 , v3 , u3 , v4 , u4 ;
I420 格式中 , UV 色彩值是 $4$ 個 u 先排列 , 然後排 $4$ 個 v 數據 , u1 , u2 , u3 , u4 , v1 , v2 , v3 , v4 ;

五、 NV21 與 I420 圖像大小

NV21 與 I420 圖像大小 :

① 推導過程 :

$4$ 像素值數據 : $4$ 個像素值 , 有 $4$ 個 Y 灰度數據 , 佔 $4$ 字節 ; $1$ 個 Y 和 $1$ 個 U 數據 , 佔 $2$ 字節 ;
$4$ 像素值數據大小 :總共有 $4 + 1 + 1 = 6$ 字節 ;
$4$ 個像素對應 $6$ 個字節 ;
歸納 : $n$ 個像素對應 $\cfrac{n \times 3}{2}$ 個字節數據 ;

② 計算公式爲 : 已知圖像像素的寬度和高度 ;

$圖像大小 ( 字節 ) = \cfrac{寬度 \times 高度 \times 3}{2}$

六、 NV21 格式轉爲 I420 格式算法

NV21 格式與 I420 格式的區別只是 UV 色彩值的排列方式不一樣 , NV21圖像轉爲 I420 圖像 , 只需要將 NV21 格式圖像交替排列的 UV 數據 , 按照 I420 格式圖像的先 U 後 V 的順序重新進行排列即可完成圖像格式轉換 ;

先將 NV21 格式數據中的 Y 灰度數據拷貝出來放在一個數組中 , 再將 NV21 數據中的 V 數據 , 和 U 數據分別拷貝出來 , 這裏得到三個數組 , 分別存儲 Y 數據 , U 數據 , V 數據 ;

將 NV21 數據中的 V 數據 , 和 U 數據分別拷貝出來的方式時 , 讀取 Y 數據完畢後 , 取下一個數據就是 V 數據 , 放入 V 數組 , 再取下一個數據就是 U 數據 , 放入 U 數組 , 之後繼續獲取數據 , 交替放入 V 數組 / U 數組 , 最終就得到了 $3$ 個數組 , 即 Y 數組 , U 數組 , V 數組 ;

【Android RTMP】Android Camera 視頻數據採集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

文章目錄

安卓直播推流專欄博客總結

一、 NV21 與 I420 數據格式轉換

二、 NV21 數據格式

三、 I420 數據格式

四、 NV21 格式與 I420 格式對比

五、 NV21 與 I420 圖像大小

六、 NV21 格式轉爲 I420 格式算法

通過HPA+CronHPA組合應對業務複雜彈性伸縮場景

【Android 電量優化】電量優化 ( 使用 AlarmManager 保持 CPU 喚醒 )

【Android 電量優化】電量優化 ( 喚醒鎖定 | 使用 WeakLock 保持服務喚醒 | 屏幕喚醒 )

【Android 電量優化】電量優化 ( JobScheduler | JobService | AsyncTask )

【Android 電量優化】電量優化 ( 耗電量測試 | Battery Historian 簡介 | apt 源更新 | Docker 安裝 | Battery Historian 安裝 )

【Android 電量優化】電量優化 ( Battery Historian 環境要求 | 電量分析報告 | 電量優化三原則 | 電量優化注意事項 )

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結