【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 )

安卓直播推流專欄博客總結

---

Android RTMP 直播推流技術專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

• 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

3. 講解 RTMP 數據包封裝格式 :

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標籤 Tag 分析 | 視頻標籤 Tag 數據分析 )

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數據採集 : 從 Camera 攝像頭中採集 NV21 格式的圖像數據 , 並預覽該數據 ;

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 視頻採集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

• 【Android RTMP】Android Camera 視頻數據採集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

• 【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )

• 【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據採集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼後的數據處理 | 封裝 H.264 視頻數據幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啓用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )

7. 階段總結 : 阿里雲服務器中搭建 RTMP 服務器 , 並使用電腦軟件推流和觀看直播內容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

• 【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )

• 【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 後置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )

9. 下面這篇博客比較重要 , 裏面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 後置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :

• 【Android RTMP】音頻數據採集編碼 ( 音頻數據採集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻採樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數據採集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標籤解析 | AAC 音頻數據標籤頭 | 音頻解碼配置信息 )

12 . 將麥克風採集的 PCM 音頻採樣編碼成 AAC 格式音頻 , 並封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數據採集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

• 【Android RTMP】音頻數據採集編碼 ( FAAC 編碼器編碼 AAC 音頻採樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

---

Android 直播推流流程 : 手機採集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最後將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;

Android 端中主要完成手機端採集視頻數據操作 , 並將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉爲 H.264 格式的視頻 , 最後將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;

上一篇博客中實現將 NV21 圖像順時針旋轉 90 度的算法 , 後置攝像頭需要順時針旋轉 90 度, 前置攝像頭與後置攝像頭相反 , 需要逆時針旋轉 90 度 ;

本博客展示 NV21 圖像前置 , 後置攝像頭旋轉後的效果 , 先搭建起 RTMP 服務器 , 這一次直接編寫一個快速搭建 RTMP 服務器的 Shell 腳本 , 每次重新搭建太麻煩 ;

一、 編寫快速搭建 RTMP 服務器 Shell 腳本

---

每次購買開啓服務器測試都要搭建 RTMP 服務器 , 這裏寫一個簡單的 Shell 腳本 , 上傳指定的文件到指定目錄後 , 自動完成 RTMP 服務器搭建並啓動 RTMP 服務器 ;

購買阿里雲服務器 , 參考之前的博客內容 , 【Android RTMP】RTMP 直播推流 ( 阿里雲服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 ) ;

服務器設置 : 一定要確保入方向打開了 8080 和 1935 端口 , 否則 RTMP 服務器 HTTP 無法訪問 , RTMP 無法推流 ;

上傳路徑 : 將博客資料中的 RTMP 服務器搭建需要的 $4$ 個文件上傳到遠程 Ubuntu 18.04 服務器中的 /root/rtmp 目錄下 ; ( 注意 Shell 腳本全部基於該目錄 )

編寫 Shell 腳本 : 將每一步操作記錄下來 , 下一次啓動服務器 , 上傳 $5$ 個文件到 /root/rtmp 目錄下 , 執行該 Shell 腳本 , 即可完成 RTMP 服務器搭建 ;

#!/bin/bash

# 該 Shell 腳本必須在 /root/rtmp 目錄下執行
# 此外 nginx.conf , nginx-1.15.3.tar.gz , nginx-rtmp-module-1.2.1.tar.gz , sources.list
# 四個文件必須上傳到該 /root/rtmp 目錄下

# 備份源
mv /etc/apt/sources.list /etc/apt/sourses.list.backup
# 拷貝國內源
cp sources.list /etc/apt/
# 更新源
sudo apt-get update

# 安裝 pcre 庫
sudo apt-get install libpcre3 libpcre3-dev
# 安裝 OpenSSL 庫
sudo apt-get install openssl libssl-dev
# 安裝 zlib 庫
sudo apt-get install zlib1g-dev

# 解壓 Nginx 服務器源碼
tar xvf nginx-1.15.3.tar.gz
# 解壓 nginx-rtmp-module 模塊源碼
tar xvf nginx-rtmp-module-1.2.1.tar.gz

# 進入 Nginx 源碼目錄
cd nginx-1.15.3/

# 生成 Makefile 文件
./configure --prefix=./bin --add-module=../nginx-rtmp-module-1.2.1

# 編譯安裝
make install

# 備份 Nginx 服務器配置腳本
mv /root/rtmp/nginx-1.15.3/bin/conf/nginx.conf /root/rtmp/nginx-1.15.3/bin/conf/nginx.conf.backup

# 複製上傳到腳本 nginx.conf 到 nginx-1.15.3/bin/conf/ 目錄下
cp /root/rtmp/nginx.conf /root/rtmp/nginx-1.15.3/bin/conf/

# 查看 1935 和 8080 端口號
lsof -i:8080
lsof -i:1935 

# 啓動服務器
# 特別注意 : 一定要確保阿里雲服務器的安全組開啓了 入方向的 TCP 8080 和 1935 端口
/root/rtmp/nginx-1.15.3/bin/sbin/nginx

# 查看 1935 和 8080 端口號
lsof -i:8080
lsof -i:1935 

二、 RTMP 快速搭建方法

---

再起一臺服務器測試下上面的 Shell 腳本 , 購買後注意開啓入方向的 TCP 1935 和 8080 端口 ;

1 . 上傳服務器文件 : 將這 $5$ 個文件上傳到服務器端 /root/rtmp 目錄下 , 注意不要傳錯目錄 , 否則 Shell 腳本執行肯定出錯 ;

2 . 執行 Shell 腳本 :

① 進入 /root/rtmp 目錄 : 必須在該目錄下執行 , 否則會出錯 ;

② 給 rtmp_server_build.sh 腳本賦予執行權限 ;

$ chmod -R 777 rtmp_server_build.sh

③ 在該目錄下執行 :

$ rtmp_server_build.sh

④ 出現下面錯誤解決方案 : 這是在 Windows 中編輯保存文件導致的 , 使用 vi rtmp_server_build.sh 命令打開文件 , 在命令模式下 , 該模式輸入 :set ff=unix , 將文件設置成 Unix 文件 , 然後執行 :wq 保存退出即可 ; ( : 是進入底線命令模式 )

-bash: ./rtmp_server_build.sh: /bin/bash^M: bad interpreter: No such file or directory

⑤ RTMP 服務器啓動成功 : 瀏覽器訪問 http://123.57.37.45:8080/stat 地址 ;

三、創建阿里雲 RTMP 服務器鏡像

---

創建鏡像 :

創建的鏡像 : 其中只有 RTMP 服務器相關文件 ;

創建個鏡像 , 之後避免每次都要手動搭建 RTMP 服務器 , 如果有需要的 , 可以在博客下方瀏覽 , 共享鏡像 ;

四、瀏覽器查看直播內容

---

1 . 瀏覽器查看直播內容 : Android 手機端將推流地址修改爲 rtmp://59.110.116.214/myapp/mystream , 即可在服務器的 http://59.110.116.214:8080/ 地址的 jwplayer 播放器中播放該推流的內容 , 可以不使用直播軟件觀看該直播 ;

2 . 頁面源碼分析 : 這是 http://59.110.116.214:8080/ 地址頁面的源碼 , 可以分析出該界面播放器播放的視頻來源 ; 需要將 rtmp://localhost/myapp?carg=1/mystream?sarg=2 鏈接中的 localhost 修改爲 實際的 IP 地址 59.110.116.214 ;

<b>Play</b> | <a href="record.html">Record</a>
<br/>
<script type="text/javascript" src="/jwplayer/jwplayer.js"></script>

<div id="container">Loading the player ...</div>
    <script type="text/javascript">
        jwplayer("container").setup({
        sources: [
            {
                file: "rtmp://localhost/myapp?carg=1/mystream?sarg=2"
            }
        ],
        image: "bg.jpg",
        autostart: false,
        width: 640,
        height: 480,
        primary: "flash"
});
</script>

3 . 修改 HTML 頁面信息 : 使用 vim 編輯器修改 /root/rtmp/nginx-rtmp-module-1.2.1/test/www/index.html 主頁的 RTMP 直播源 IP 地址 , 將該 IP 地址改爲當前的的服務器的 IP 地址 ;

$ vim /root/rtmp/nginx-rtmp-module-1.2.1/test/www/index.html

4 . 瀏覽器觀看直播 : 之後可以通過 http://59.110.116.214:8080/ 地址觀看直播內容 ;

五、前置 / 後置攝像頭圖像旋轉效果展示

---

1 . 後置攝像頭橫屏效果展示 :

① 手機端 : 推流地址 rtmp://59.110.116.214/myapp/mystream ;

② 瀏覽器端 : 訪問 http://59.110.116.214:8080/ 地址 , 注意要將該 HTML 頁面中的 rtmp 源修改爲

        sources: [
            {
                file: "rtmp://59.110.116.214/myapp?carg=1/mystream?sarg=2"
            }
        ],

2 . 後置攝像頭豎屏效果展示 :

① 手機端 : 推流地址 rtmp://59.110.116.214/myapp/mystream ;

② 瀏覽器端 : 訪問 http://59.110.116.214:8080/ 地址 , 注意要將該 HTML 頁面中的 rtmp 源修改爲

        sources: [
            {
                file: "rtmp://59.110.116.214/myapp?carg=1/mystream?sarg=2"
            }
        ],