轉自：http://www.ibm.com/developerworks/cn/aix/library/au-gstreamer.html
級別： 中級
Maciej Katafiasz ([email protected]), 學生, Computer Science
2006 年 8 月 07 日
本文向您介紹 GStreamer，它是一種通用的多媒體處理庫，可以使得多媒體處理更加容易。
多媒體，依照其定義，表示各種各樣的媒體類型。您可以各種格式存儲音頻、視頻和元數據。然而，這也就意味着要使用許多工具來處理這些不同的內容。
GStreamer 可以爲您提供幫助。通過將所有不同的工具和庫隱藏到它的插件中，以及使用媒體管道 這個一般性概念，GStreamer 能以一種統一的方式表示對不同類型媒體所進行的操作。這使得您能夠將精力集中於現有的媒體，而不是困惑於究竟應該使用什麼樣的管道。
這種統一處理方法的優點顯而易見。您可以編寫音樂 或視頻 播放器，而不是編寫 MP3 播放器或者 AVI/DivX 播放器。當您希望支持另一種格式時，無需進行深入的研究併爲新的庫編寫代碼。相反，僅需要安裝這種格式的插件就可以了。就是這麼簡單，甚至不需要進行重新編譯。所有的 GStreamer 應用程序都可以在運行的過程中採用新的格式。
GStreamer 可以解決許多問題，比如“需要存儲來自不同來源具有相同格式的所有音頻採樣”。因爲對所有的格式進行相似的處理，所以您只需要編寫一個工具。這將節省時間，並使得解決方案更加健壯且更易於維護。而且，在您瞭解了 GStreamer 的相關概念之後，幾乎可以將它應用到任何地方。如果您要讓音頻信息流經網絡，那麼只需要考慮這個網絡，因爲您所使用的音頻 API（應用程序編程接口）和所有其他的操作都保持不變。
由於其本身的特性，GStreamer 比普通的庫位於更高的層次。因此，務必理解 GStreamer 究竟是什麼以及它能夠完成哪些工作。
GStreamer 是一種媒體處理庫。這就意味着，它爲您提供了某種轉換過程的抽象模型（由輸入、輸出和不同的階段組成），並且允許您爲滿足特殊的最終結果和特殊的媒體類型而構建這種轉換過程的實例。下面是這種處理過程的一些示例：
- 將 MP3 音頻文件轉換爲 Ogg Vorbis
- 播放 AVI 電影文件
- 使用 IEEE1394 數字視頻 (DV) 攝像機捕獲現場表演，並將它保存爲 MPEG-2 流
爲了實現這些不同的結果，GStreamer 通過抽象的管道概念進行工作。管道 是一個有向圖，媒體在這個有向圖中從輸入流到輸出。管道由各種元素組成，而元素則是另一個核心概念。元素 是可以放入到管道中的對象，其中包裝了對媒體進行的某種操作。您可以將不同的元素鏈接在一起，以使它們共同組成將輸入轉換爲需要的輸出的完整處理過程。通常，使用從左（上游）到右（下游）的數據流來對管道進行描述。使用 gst-launch 以同樣的方式來編寫管道，關於 gst-launch 的內容將在本文後面介紹。
請務必注意，到目前爲止，所有的內容都是完全抽象的。沒有涉及到視頻或音頻，之所以這樣做，有一個很好的理由。上面描述的模型並不侷限於任何特定的媒體類型。只要您可以將其描述爲輸入、輸出和轉換過程，就都可以利用管道來對其進行操作。例如，桌面可以作爲媒體來源，您可以錄製對視頻文件的屏幕播放。事實上，Istanbul 應用程序正是這樣做的（請參見參考資料部分）。
GStreamer 的核心本身並不包含任何元素。它只提供關於管道的知識。而所有特定的內容，都由相應的插件提供。插件 是一段經過編譯的代碼，通常以對象文件（UNIX® 上的 .so 和Microsoft® Windows® 上的 .dll）的形式分發，可以提供一個或多個元素。在啓動過程中，GStreamer 對所有已安裝的插件進行查詢，以獲取可用於應用程序的一組元素。插件通常可以調用其他的庫，以完成特定的任務（例如，MPEG-2 解碼器可以使用現有的庫來處理 MPEG 格式的信息），但是應用程序並不需要知道這一點。它所看到的只是一些外觀和工作方式相同的元素。
有些插件以核心源包的形式分發，並且將其編譯爲庫，甚至從概念上看，它們是一些獨立的實體。其他的基本插件以基於 gst 插件包的形式分發。在大多數的 GStreamer 安裝中，都包含這些基本插件。然後還有一些好的、差的和糟糕的 gst 插件包，其中，根據這些不同的插件得到的支持級別和許可條款對其進行收集。最後，還有一些由第三方供應商分發或註冊專門用於特定應用程序的插件。
既然已經瞭解了管道，您就還需要了解如何將它映射爲 GStreamer 實現。在此過程中，您還將瞭解到更多的術語。
 |
|
正如我所提到的，元素是處理過程的基本單元，由 GstElement 類來表示。GStreamer 是使用 C 進行編寫的，但是它使用了來自 GTK+ 工具包的 GObject 庫，以獲得面向對象的特性（請參見參考資料部分）。元素中包含一些單元，這些單元是鏈接到其他元素的位置。有兩種類型的單元：
- 接收單元 爲元素提供輸入。
- 可以通過源單元 訪問元素所產生的數據。
這些單元所具有的相應功能稱爲能力。這些功能表示什麼類型的數據可以流經該單元。例如，如果您檢查一個 vorbisdec 元素（它是一個免費 Vorbis 代碼的解碼器），可以看到如清單 1 中所示的代碼。一行開頭處的美元符號 ($) 表示該行是常規的 UNIX Shell 命令。
$ gst-inspect-0.10 vorbisdec
[...]
Pad Templates:
SRC template: 'src'
Availability: Always
Capabilities:
audio/x-raw-float
rate: [ 8000, 50000 ]
channels: [ 1, 6 ]
endianness: 1234
width: 32
SINK template: 'sink'
Availability: Always
Capabilities:
audio/x-vorbis
[...]
|
您可以看到，其中有兩種單元模板：一種用於源 (src)，另一種用於接收器。源單元的可用性爲 always（其他可能的可用性取值爲 sometimes 和 request），並且能夠以 8kHz 到 50kHz 的速率輸出原始浮點音頻，該音頻具有 1 至 6 聲道、小端字節順序以及 32 位寬的採樣。另一方面，接收單元僅接收 Vorbis 編碼的音頻流。
要使管道正常工作，這些模板是至關重要的。當您試圖將兩個元素鏈接到一起以組成一個管道時，GStreamer 會查看它們的單元模板是否兼容。這個過程稱爲協商。在協商過程中，這些元素會嘗試發現它們之間共同支持的最佳格式。如果不存在這樣的格式，那麼鏈接將會失敗。否則，它們將會達成協議使用一種通用格式。這種格式不再是模板，而稱爲固定的能力，這表示所有的值都具有實際意義並且是明確的。然後，可以將數據從一個元素傳遞到另一個元素。
現在，您已經瞭解了開始工作前所需要的內容。爲了完成具體的工作，我將介紹 GStreamer 中如“瑞士軍刀”般銳利的工具，gst-launch 工具。
 |
|
|
|
gst-launch 是您所碰到用途最多的工具之一。對於 GStreamer 來說，它就像是 UNIX 的 Shell。使用該工具，您甚至可以通過特殊的語法（相應地稱爲 gst-launch 語法）構建複製的管道，如清單 2 中所示。
$ gst-launch-0.10 filesrc location=
"concept.mp3" ! decodebin ! alsasink
Setting pipeline to PAUSED ...
Pipeline is PREROLLING ...
Pipeline is PREROLLED ...
Setting pipeline to PLAYING ...
New clock: audioclock0
|
清單 2 是一種最簡單的音頻播放器。現在，我正使用它聽 concept.mp3。表 1 解釋瞭如何從左到右閱讀該命令行。
| 元素 | 描述 |
|---|---|
| gst-launch-0.10 | 這是該命令的名稱。-0.10 表示在同時安裝了舊的 0.8 發佈版的情況下，應該使用特定版本 GStreamer 0.10。 |
| filesrc location="concept.mp3" | 它創建了一個 filesink 類的元素，並將其 location 屬性設置爲 concept.mp3。因爲 filesrc 元素可以讀取由 location 指定的文件，所以該命令爲當前目錄中的 concept.mp3 文件創建了一個讀取器。 |
| ! | 感嘆號表示鏈接到。與 Shell 中的管道符號 (|) 類似，之所以選擇使用感嘆號，是因爲它看起來與 (|) 比較相似，並且在 Shell 中無需對其進行轉義（只要它的前後都有空格即可）。 |
| decodebin | 這是由 GStreamer 提供的 autoplugger。autoplugger 是一個元素，指定了其輸入和輸出的數據類型，它可以使用其他的可用元素來查找提供所需結果的子管道。請記住，GStreamer 中所有的鏈接都應該是類型化的，因此，感嘆號 (!) 隱式地表示了它所鏈接的元素的類型信息。因爲 filesrc 具有 ANY 類型的能力，所以 decodebin 首先對流嘗試 typefind 操作。也就是說，它將查找表示類型的特徵符號。所有的這些操作，對於用戶來說都是透明的。 |
| alsasink | 這是適合於我的 Linux® 系統的音頻輸出的元素。它與聲卡進行通信併爲其提供原始音頻採樣。它必須與整個管道合拍，因爲聲卡具有使用數據的正常速率。 |
當我按下 Enter 時，它會顯示一些狀態信息，直到管道到達 PLAYING 狀態。然後，開始以流的形式傳輸數據，而我可以聽到聲音，由我的聲卡 (audioclock0) 設定其節奏。
正如您所看到的，GStreamer 爲您節省了大量的 工作。您甚至無需瞭解嘗試解碼的媒體類型。請記住，正如 Shell 無法取代 C 程序，gst-launch 工具無法取代完整的 GStreamer 應用程序。例如，gst-launch 不允許您在其啓動之後以任何方式對管道進行控制，所以您無法跳過流中的某些部分。儘管如此，它仍然是非常有用的，特別是對於一些快速的任務，比如將音頻文件錄製爲另一種格式或者僅使用管道進行試驗。
|
|
本文只是簡單地介紹了您能夠使用 GStreamer 進行哪些工作。很顯然，使用簡單的 Shell 命令創建音頻播放器非常不錯。然而，這只是一個非常簡單的播放器，沒有任何用戶界面和控件。要添加這些項目和更多的內容，您需要使用一些代碼。即便如此，GStreamer API 仍然很簡單並且經過了仔細的考慮。如果您不喜歡 C，可以從其他的綁定中進行選擇，包括 Python 語言綁定的謹慎維護子集。
請閱讀 gst-launch 的 man 頁面。完整語法的範圍更加廣泛，並且您可以使用它來創建更復雜和有趣的管道，包括那些可以從代碼中創建的管道。是的，您甚至可以創建自己的 gst-launch（請查看gst_parse_launch () 函數文檔以瞭解如何完成這項工作）。
另外，請加入該郵件列表並順便訪問 IRC 頻道（#[email protected]）。GStreamer 開發人員組成了一個非常活躍的集體，通常總有人爲您提供幫助或得到您的幫助。
學習
- 您可以參閱本文在 developerWorks 全球站點上的 英文原文 。
- GStreamer 應用程序開發手冊：閱讀該手冊，以瞭解更多的關於 GStreamer 的概念，以及如何使用 GStreamer 編寫應用程序。
- GStreamer 插件程序員指南：在您需要創建自己的插件時，該指南非常有用。
- GStreamer 0.10 核心參考手冊：這是一本非常有價值的參考手冊。
- GObject 參考手冊：閱讀該手冊，以瞭解關於 GStreamer 所使用的面向對象庫的更多信息。
- AIX® and UNIX：想了解更多內容嗎？developerWorks 的“AIX and UNIX”專區提供數百篇關於 AIX 和 UNIX 的文章以及入門級、中級和高級教程，將讓您大開眼界。
- 技術講座：收聽技術講座並保持與 IBM 技術專家同步。
獲得產品和技術
- GStreamer 主頁：有關最新的信息和下載，請訪問此站點。
- Istanbul：Istanbul 是一種使用 GStreamer 的桌面會話錄製程序。
- IBM 試用軟件：使用 IBM 軟件開發您的下一個項目，可直接從 developerWorks 下載這些試用軟件。
討論
- 參與 “AIX and UNIX”論壇、developerWorks 博客，並加入 developerWorks 社區。
- gstreamer-devel：請不要猶豫，您可以在 gstreamer-devel 上發佈消息，這是面向 GStreamer 開發和使用的郵件列表。
|
||
|
|
|
Maciej Katafiasz 是計算機科學專業的研究生，從高中起就一直使用開源技術。從 GNOME 1.0 起，他就是 GNOME 桌面的用戶，而 2.0 版一發布，他就愛上了它並瞭解到 GTK+ 能夠開發自己喜歡的桌面。 |
