火爆 GitHub!這個圖像分割神器開源了

最近全球各大新勢力造車公司簡直不能再火!小編看着蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道,以特斯拉爲首,各大公司都採用計算機視覺作爲自動駕駛的技術底座,而其中正是通過圖像分割技術,汽車才能分清楚哪裏是路,哪裏是人。

那圖像分割重不重要還需要我強調麼?而今天我要給大家介紹的這個開源套件,就涵蓋業界最前沿的圖像分割算法,並效果超羣,這就是 PaddleSeg!!OMG,還在等什麼?!盤他!盤他!盤他!

在如期舉行的全球計算機視覺頂會 CVPR2021 上,PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰賽是近年來自動駕駛場景理解領域極具影響力的一場賽事,非常考驗參賽者在非結構化環境中的語義分割算法能力。百度 PaddleSeg 團隊最終擊敗其餘參賽隊伍,在 Level 1, Level 2, Level 3 三項測試指標上均以第一名的成績摘獲冠軍。

着急的小夥伴可以直接去看比賽詳情:

https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf

那麼 PaddleSeg 到底是個啥呢?小編去GitHub 上去扒了一下官方的解釋:

PaddleSeg 是基於飛槳開發的端到端圖像分割開發套件,涵蓋了高精度和輕量級等不同方向的大量高質量分割模型。通過模塊化的設計,幫助開發者完成從訓練到部署的全流程圖像分割應用。下面就給大家講講 PaddleSeg 的特點和近期更新的內容:

  • 全新升級了人像分割功能,提供了 web 端超輕量模型部署方案;

  • 推出了精細化的分割解決方案 PaddleSeg-Matting;

  • 開源了全景分割算法 Panoptic-DeepLab,豐富了模型種類;

  • 發佈了交互式分割的智能標註工具 EISeg。極大的提升了標註效率。

 

Web 視頻會議  

Matting

全景分割

交互式分割

 

提供了產業級的部署方式。如今又增加了這麼多的新功能。可以說 PaddleSeg 已經可以全方位、立體式地滿足開發者各個維度的需求。不得不大說一聲:、

 

這麼好的產品,還不快上車?

 

上車地址:

https://github.com/PaddlePaddle/PaddleSeg

 

產業級人像分割方案PPSeg 

人像分割是圖像分割領域非常常見的應用,在實際應用過程中人像的數據集來源多種多樣,數據可能來源於手機、相機、監控等,圖片尺寸可能是橫屏、豎屏或者方屏。部署場景多種多樣,有的應用在服務器端,有的應用在移動端,還有的應用在網頁端。爲此 PaddleSeg 團隊推出了在大規模人像數據上訓練的人像分割 PPSeg 模型,滿足在服務端、移動端、Web 端(Paddle.js)多種使用場景的需求。

PPSeg 模型在產業中得到了廣泛的應用。近期“百度視頻會議”也上線了虛擬背景功能,支持用戶在視頻會議時進行背景切換。其中人像換背景模型採用 PaddleSeg 團隊開發的 PPSeg 系列模型中的超輕量級模型。通過 Padddle.js 實現了在 web 端部署,直接利用瀏覽器的算力進行圖像分割,分割效果受到一致好評。

 

產業級解決方案詳解:

https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg

小夥伴們也可前去百度首頁體驗百度視頻會議,直觀體驗一下 PaddleSeg 和 Paddle.js 爲大家提供的人像分割功能。

 

 精細化的分割解決方案 PaddleSeg-Matting 

隨着分割技術的發展,人們對分割的精細化的要求也越來越高。比如在一些影視行業,綠幕作爲拍攝的換背景常用的工作,但目標不在綠幕前拍攝,是否還能達到很好的背景分割功能呢?

答案是:能!

最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的髮絲實現了精準的分割。

PaddleSeg 通過內建 trimap 生成機制實現 alpha 預測,無需任何輔助信息的輸入即可完成預測,極大減少了人工成本。通過共享 encoder 權重減少網絡的參數量,並在 decoder 階段利用 attention module 實現 trimap 信息流對 alpha 預測的指導。然後利用 error map 提取錯估區域的 patch,通過 refinement 子網絡進行 refine 得到最終的 alpha。

 

交互式分割智能標註工具 

業界對於人工智能有這麼一句話:“深度學習有多智能、背後就有多少人工”。這句話直接說出了深度學習從業者心中的痛處,畢竟模型的好壞數據佔據着很大的因素,但是數據的標註成本卻讓很多從業的小夥伴們感到頭疼。

爲此 PaddleSeg 團隊重磅推出的交互式分割智能標註軟件EISeg 那具體什麼是交互式分割呢?通過下面的動態圖來了解一下。

不難發現,交互式分割通過一系列的綠色點(正點)和紅色點(負點)實現了對目標對象的邊緣分割,交互式分割主要的應用方向是圖像編輯和半自動標註,可以應用於精細化標註,摳圖,輔助圖像後期處理(例如 PS)等場景。

PaddleSeg 團隊聯合 PaddleCV-SIG 成員基於 RITM 算法,推出了業界首個高性能的交互式分割工具 EISeg,我們支持對 RITM 模型的訓練、預測及交互的全流程。PaddleSeg 交互式分割模型不僅僅支持從頭訓練強大的通用場景模型,還支持對特定場景數據進行 Finetune。我們利用百度自建人像數據集對模型 Finetune,得到預測速度快,精度高,交互點少的人像交互式分割模型。

軟件提供多種安裝方式,支持用戶使用 pip 和 conda 安裝,另外 windows 下提供了可執行的 exe 文件,雙擊.exe 即可運行程序。

 

 全景分割 Panoptic-DeepLab 

全景分割是圖像分割領域在近年來興起的一個新領域,由 FAIR 與海德堡大學在2018年首次提出。

 

 什麼是全景分割呢?

圖像的信息可以分爲 thing 和 stuff,其中 thing 表示可數對象,例如車、動物等等,stuff 表示不可數對象,例如沙灘、天空等等。語義分割任務不關注圖像中的是 stuff 還是 thing,只關注每個像素所屬的語義類別,因此無法實現實例對象的區分。而實例分割關注的是 thing 的分割,將圖像中的 thing 識別出來,區分出不同的實例個體以及相應的語義信息,對於 stuff 區域,則統一表示爲背景。全景分割是融合了語義分割和實例分割的技術,對於 thing,識別出不同的實例個體以及對應的語義信息,對於 stuff,識別出對應的語義信息。

Panoptic DeepLab 首次以 bottem-up 和 single-shot 算法形式達到 state-of-the-art 性能,相比於 top-down 算法 Panoptic DeepLab 以簡單的網絡結構實現了精度、速度雙超越,開創了全景分割算法新方向,目前 Cityscape 全景分割榜首即基於該算法。

 

 

 

 PaddleSeg 全貌 

  • 全明星算法陣容

20+全面領先同類框架的高精度語義分割算法,50+預訓練模型新增全景分割算法,豐富了應用場景。提供了高精度的人像分割算法 HumanSeg,滿足多端部署。

 

  • 全產業鏈部署

不僅全面支持動態圖開發,可以順暢的完成動靜轉化;還從數據預處理、算法訓練調優、壓縮、多端部署等全流程、各環節順暢打通,極大程度地提升了用戶開發的易用性,加速了算法產業應用落地的速度。尤其是通過 Paddle.js 支持在 web 端部署,賦予了網頁端部署的更多可能性。

你還在等什麼?!如此用心研發的高水準產品,還不趕緊 Star 收藏上車!

傳送門:

https://github.com/PaddlePaddle/PaddleSeg

點擊進入第一時間瞭解新鮮技術資訊~~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章