最近全球各大新勢力造車公司簡直不能再火!小編看着蹭蹭飆升的股價實在是眼紅的不要不要的。而懂行的人都知道,以特斯拉爲首,各大公司都採用計算機視覺作爲自動駕駛的技術底座,而其中正是通過圖像分割技術,汽車才能分清楚哪裏是路,哪裏是人。
那圖像分割重不重要還需要我強調麼?而今天我要給大家介紹的這個開源套件,就涵蓋業界最前沿的圖像分割算法,並效果超羣,這就是 PaddleSeg!!OMG,還在等什麼?!盤他!盤他!盤他!
在如期舉行的全球計算機視覺頂會 CVPR2021 上,PaddleSeg 再次綻放高光。其中 AutoNUE 挑戰賽是近年來自動駕駛場景理解領域極具影響力的一場賽事,非常考驗參賽者在非結構化環境中的語義分割算法能力。百度 PaddleSeg 團隊最終擊敗其餘參賽隊伍,在 Level 1, Level 2, Level 3 三項測試指標上均以第一名的成績摘獲冠軍。
着急的小夥伴可以直接去看比賽詳情:
https://bj.bcebos.com/paddleseg/docs/autonue21_presentation_PaddleSeg.pdf
那麼 PaddleSeg 到底是個啥呢?小編去GitHub 上去扒了一下官方的解釋:
PaddleSeg 是基於飛槳開發的端到端圖像分割開發套件,涵蓋了高精度和輕量級等不同方向的大量高質量分割模型。通過模塊化的設計,幫助開發者完成從訓練到部署的全流程圖像分割應用。下面就給大家講講 PaddleSeg 的特點和近期更新的內容:
-
全新升級了人像分割功能,提供了 web 端超輕量模型部署方案;
-
推出了精細化的分割解決方案 PaddleSeg-Matting;
-
開源了全景分割算法 Panoptic-DeepLab,豐富了模型種類;
-
發佈了交互式分割的智能標註工具 EISeg。極大的提升了標註效率。
Web 視頻會議
Matting
全景分割
交互式分割
提供了產業級的部署方式。如今又增加了這麼多的新功能。可以說 PaddleSeg 已經可以全方位、立體式地滿足開發者各個維度的需求。不得不大說一聲:、
這麼好的產品,還不快上車?
上車地址:
https://github.com/PaddlePaddle/PaddleSeg
產業級人像分割方案PPSeg
人像分割是圖像分割領域非常常見的應用,在實際應用過程中人像的數據集來源多種多樣,數據可能來源於手機、相機、監控等,圖片尺寸可能是橫屏、豎屏或者方屏。部署場景多種多樣,有的應用在服務器端,有的應用在移動端,還有的應用在網頁端。爲此 PaddleSeg 團隊推出了在大規模人像數據上訓練的人像分割 PPSeg 模型,滿足在服務端、移動端、Web 端(Paddle.js)多種使用場景的需求。
PPSeg 模型在產業中得到了廣泛的應用。近期“百度視頻會議”也上線了虛擬背景功能,支持用戶在視頻會議時進行背景切換。其中人像換背景模型採用 PaddleSeg 團隊開發的 PPSeg 系列模型中的超輕量級模型。通過 Padddle.js 實現了在 web 端部署,直接利用瀏覽器的算力進行圖像分割,分割效果受到一致好評。
產業級解決方案詳解:
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.2/contrib/HumanSeg
小夥伴們也可前去百度首頁體驗百度視頻會議,直觀體驗一下 PaddleSeg 和 Paddle.js 爲大家提供的人像分割功能。
精細化的分割解決方案 PaddleSeg-Matting
隨着分割技術的發展,人們對分割的精細化的要求也越來越高。比如在一些影視行業,綠幕作爲拍攝的換背景常用的工作,但目標不在綠幕前拍攝,是否還能達到很好的背景分割功能呢?
答案是:能!
最近 PaddleSeg 團隊開源的精細化分割解決方案 PaddleSeg-Matting 就很好的解決了這個問題。將目標的髮絲實現了精準的分割。
PaddleSeg 通過內建 trimap 生成機制實現 alpha 預測,無需任何輔助信息的輸入即可完成預測,極大減少了人工成本。通過共享 encoder 權重減少網絡的參數量,並在 decoder 階段利用 attention module 實現 trimap 信息流對 alpha 預測的指導。然後利用 error map 提取錯估區域的 patch,通過 refinement 子網絡進行 refine 得到最終的 alpha。
交互式分割智能標註工具
業界對於人工智能有這麼一句話:“深度學習有多智能、背後就有多少人工”。這句話直接說出了深度學習從業者心中的痛處,畢竟模型的好壞數據佔據着很大的因素,但是數據的標註成本卻讓很多從業的小夥伴們感到頭疼。
爲此 PaddleSeg 團隊重磅推出的交互式分割智能標註軟件EISeg 那具體什麼是交互式分割呢?通過下面的動態圖來了解一下。
不難發現,交互式分割通過一系列的綠色點(正點)和紅色點(負點)實現了對目標對象的邊緣分割,交互式分割主要的應用方向是圖像編輯和半自動標註,可以應用於精細化標註,摳圖,輔助圖像後期處理(例如 PS)等場景。
PaddleSeg 團隊聯合 PaddleCV-SIG 成員基於 RITM 算法,推出了業界首個高性能的交互式分割工具 EISeg,我們支持對 RITM 模型的訓練、預測及交互的全流程。PaddleSeg 交互式分割模型不僅僅支持從頭訓練強大的通用場景模型,還支持對特定場景數據進行 Finetune。我們利用百度自建人像數據集對模型 Finetune,得到預測速度快,精度高,交互點少的人像交互式分割模型。
軟件提供多種安裝方式,支持用戶使用 pip 和 conda 安裝,另外 windows 下提供了可執行的 exe 文件,雙擊.exe 即可運行程序。
全景分割 Panoptic-DeepLab
全景分割是圖像分割領域在近年來興起的一個新領域,由 FAIR 與海德堡大學在2018年首次提出。
什麼是全景分割呢?
圖像的信息可以分爲 thing 和 stuff,其中 thing 表示可數對象,例如車、動物等等,stuff 表示不可數對象,例如沙灘、天空等等。語義分割任務不關注圖像中的是 stuff 還是 thing,只關注每個像素所屬的語義類別,因此無法實現實例對象的區分。而實例分割關注的是 thing 的分割,將圖像中的 thing 識別出來,區分出不同的實例個體以及相應的語義信息,對於 stuff 區域,則統一表示爲背景。全景分割是融合了語義分割和實例分割的技術,對於 thing,識別出不同的實例個體以及對應的語義信息,對於 stuff,識別出對應的語義信息。
Panoptic DeepLab 首次以 bottem-up 和 single-shot 算法形式達到 state-of-the-art 性能,相比於 top-down 算法 Panoptic DeepLab 以簡單的網絡結構實現了精度、速度雙超越,開創了全景分割算法新方向,目前 Cityscape 全景分割榜首即基於該算法。
PaddleSeg 全貌
-
全明星算法陣容
20+全面領先同類框架的高精度語義分割算法,50+預訓練模型新增全景分割算法,豐富了應用場景。提供了高精度的人像分割算法 HumanSeg,滿足多端部署。
-
全產業鏈部署
不僅全面支持動態圖開發,可以順暢的完成動靜轉化;還從數據預處理、算法訓練調優、壓縮、多端部署等全流程、各環節順暢打通,極大程度地提升了用戶開發的易用性,加速了算法產業應用落地的速度。尤其是通過 Paddle.js 支持在 web 端部署,賦予了網頁端部署的更多可能性。
你還在等什麼?!如此用心研發的高水準產品,還不趕緊 Star 收藏上車!
傳送門:
https://github.com/PaddlePaddle/PaddleSeg