原创 FFmpeg深度學習模塊2019年小結

FFmpeg是什麼,通俗的說,在看片子的時候,需要用到視頻播放器,而很多視頻播放器的底層用的就是FFmpeg。這是我在2019年在FFmpeg深度學習模塊中所做事情的總結,由於我在19年是這個模塊的主要貢獻者,所以,這個總結也差不

原创 ffmpeg中的roi encoding介紹

ROI (region of interest) encoding是一項基於感興趣區域的視頻編碼技術,對圖像中感興趣的區域減少量化參數值(qp:quantization parameter),從而分配更多碼率以提升畫面質量,而對不

原创 FFmpeg中基於深度學習模型的圖像處理filter:dnn_processing介紹(2)

dnn_processing是FFmpeg中的一個視頻filter,可以支持所有基於深度學習模型的圖像處理算法,即輸入和輸出都是AVFrame,而處理過程使用的是深度學習模型。爲什麼要開發這樣一個filter,因爲作爲FFmpeg

原创 幾個顏色基本屬性的個人理解

在2018年下半年的時候,曾做過SDR2HDR的嘗試(從以前的低/標準動態範圍standard dynamic range到高動態範圍high dynamic range),瞭解到平常熟視無睹的顏色概念背後的博大精深,還處於顏色的

原创 FFmpeg中基於深度學習模型的圖像處理filter:dnn_processing介紹(1)

在FFmpeg中,一開始增加了兩個基於深度學習的video filter,分別是用來超分辨率的vf,和用來去除雨點的derain。它們都是對每幀中的內容進行的調整,包括對幀size的改變,用到的算法都是基於深度學習的模型。實際上,

原创 歡迎申請GSoC編程實習生(強烈建議在校學生申請參加)

先說結論 歡迎大家申請FFmpeg DNN native conv2d layer optimization的實習機會,必須是在校學生,本碩博均可,地點不限,能上網就可以。要求申請者瞭解FFmpeg,深入理解深度學習中的卷積層

原创 YOLO v2推理過程介紹

這大概是在2017年底的時候寫的,當時還研究了一下faster rcnn和ssd的推理過程。後來YOLO v3出來了,這個就放在一邊沒理了。現在發出來湊個篇數。 YOLO (You only look once) 是業界第一個端到

原创 FFmpeg video filter FATE測試過程介紹

FATE (FFmpeg Automated Testing Environment) 是FFmpeg社區開發的自動化測試框架,支持對FFmpeg API的測試,也支持對FFmpeg內部函數的測試。對FFmpeg video fi

原创 介紹5---OpenGL Pipeline

之前講述的都是將OpenGL Pipeline當中一個整體來看的,接下去,我們開始探索其內部了。     一. 頂點處理 三維空間中的物體,從幾何角度來說,是由多個頂點構成的,所以OpenGL Pipeline的第一個步驟就是頂點處理。

原创 4. OpenGL綜合知識 --- 窗口系統Windows和Linux/X

說明:在本節涉及的frame buffer是以顯示爲目的的frame buffer。   爲了將GPU繪製結果在窗口中顯示出來,必然需要將OpenGL和具體窗口系統相結合。如下圖所示,OpenGL spec定義了GL context<

原创 2. OpenGL綜合知識---GL state和GL Context

  OpenGL定義了數百個以gl開頭的函數(可稱之爲glAPI),供應用程序調用;OpenGL也規定了從glAPI到on screen buffer中數據的轉換過程,即OpenGL的Pipeline。Pipeline直譯的中文意思是管

原创 5. OpenGL綜合知識 --- Memory類型和數據傳遞

從應用程序到驅動程序再到Frame buffer,粗略的,可以將memory分成四類: 1.         CPU可讀可寫的,稱爲system memory。我們一般寫的程序使用的memory都是這種類型的,比如OpenGL應用程序,O

原创 http訪問自動編譯結果

karrigell是一個web服務器,支持用python開發的腳本生成網頁   # apt-get install karrigell # apt-get install karrigell-doc   ps一下,就可以看到http服務器

原创 3. OpenGL綜合知識---Frame Buffer

GPU的繪製結果並不一定直接寫入on screen buffer中。On screen buffer中的數據是被用以顯示輸出的顏色信息,所以,on screen buffer屬於color buffer。在OpenGL中定義了多個colo

原创 1. OpenGL綜合知識---2D和3D

  考察計算機顯卡最後輸出到顯示器的環節,有一塊和屏幕分辨率一致的物理連續的memory,有一個名爲Display Controller(?名稱待確認)的硬件設備,該硬件將memory中的數據傳遞到顯示設備中顯示。此時,這塊memory被