將全景分割用到養豬場，AI養豬到底靠不靠譜？

點擊上方“3D視覺工坊”，選擇“星標”

乾貨第一時間送達

整理：公衆號@機器之心

本文僅做學術分享，如有侵權，請聯繫刪除。

全景分割將實例分割與語義分割統一起來，自提出之後一直被用於分割街景等圖像。但最近，有人把這項技術用到了養豬場。

許多研究表明，我們可以通過豬的日常行爲來推斷其健康狀態，所以如何有效觀察「豬」的行爲顯得極其重要，這可以保證我們在「必要時」採取迅速的干預行動，以保證豬的健康狀態。

長時間觀察動物的行爲很難人工完成，因此通常情況下采取的方案是使用基於傳感器的自動化系統。

自動識別系統的使用可以大大簡化對豬的行爲的研究，尤其是基於計算機視覺的系統。其優勢在於，它們可以對目標進行有效的狀態評估，同時也不會影響動物的正常行爲。近年來，這一方向的研究已經引入了深度學習的方法，並表現出不錯的效果。傳統意義上的「目標」和「關鍵點」檢測器已被用於檢測單個動物。雖然效果良好，但是邊界框以及稀疏關鍵點無法追蹤動物的輪廓，從而會導致丟失許多有效信息。

因此，來自德國基爾大學和哥廷根大學的研究者開發了一套用在養豬場的全景分割系統。他們按照相對較新的定義進行豬的全景分割，目的在於對單個豬進行像素級的精確分割。爲實現以上目的，他們提出了一種用於語義分割的神經網絡框架，以及不同的網絡主幹（network heads）與後處理方法（postprocessing methods）。利用生成的實例分割蒙版，之後可以用來預測動物的大小或體重等信息。

該方法在帶有 1000 個手工標記圖像的數據集上進行了測試，儘管也存在遮擋物和鏡頭污染（dirty lenses）之類的干擾，但仍可達到約 95％的檢測精度（F1 分數）。

論文鏈接：https://arxiv.org/pdf/2005.10499.pdf

方法

論文所提方法的目的是：使用安裝在豬圈上方的攝像頭採集圖片，之後對圖片中所有的豬進行全景分割。全景分割是語義分割與實例分割的結合，其中語義分割將背景與豬區分開來，實例分割用於區分不同個體的豬，如下圖所示。

圖 2：論文中不同分割實驗的可視化效果圖。

論文所提出的全景分割方法是對經典語義分割的擴展。分割任務被分爲如下四個獨立的實驗，來逐漸增加其複雜度：

1. 二值分割

2. 語義分割

3. 結合二值分割與像素嵌入的精確像素級實例分割（pixel precise instance segmentation）

4. 像素嵌入與身體部位分割相結合的豬頭朝向識別

以上所有實驗均使用了相同的網絡結構。僅對最後一層網絡進行相應調整，以得到需要的輸出。因此，論文所提框架能夠適用於以上不同實驗。整個分割框架如下圖所示。

圖 3：論文所提分割框架示意圖。

實驗

這項研究所使用的數據來自一家傳統的仔豬養殖場。這裏共安裝了 5 個攝像頭，每個攝像頭覆蓋兩個 5.69 平方米的畜欄，每個畜欄最多有 13 頭豬。這些豬 27 天大時入欄，在養殖場裏待 40 天。該數據集涵蓋養殖場四個月的數據。然後從所有可用視頻中隨機選取 1000 個分辨率爲 1280x800 像素的幀，並進行人工標註。

在二值分割中，該網絡預測特定像素的類別屬於豬或背景的概率，預測準確率如下表 2 所示：

表 2：二值分割實驗的準確率結果。

在類別分割任務中，將豬的類別內核設置爲橢圓大小的 50%（見圖 8c）。下表 3 展示了實驗結果：

表 3：類別分割和組合分割中對提取橢圓的檢測結果。

對於豬頭朝向的識別，該研究使用了與以前相同的組合網絡，區別在於用身體部位分割替換了之前的二值分割。實驗結果見下表 4：

表 4：豬頭朝向的識別結果。該網絡可以正確識別 94％的豬頭朝向（真陽性）。

圖 8：不同實驗對示例圖像的處理結果。

AI 養豬，到底靠不靠譜？

衆所周知，AI 養豬並不是一個剛剛興起的概念，早在兩三年前就已經被炒得很火，阿里、京東等巨頭也紛紛入場。但在這場熱潮背後，業內外人士紛紛質疑：AI 養豬，到底靠不靠譜？

大家質疑的點主要在於，首先，在養豬行業加入 AI 到底有沒有解決養豬的痛點？從目前的進展來看，阿里、京東以及上文介紹的論文作者都聚焦於用成熟的計算機視覺等技術來改善傳統養豬行業的某個流程。但有人指出，他們所解決的可能並不是根本問題，而與該行業成本息息相關的飼料成本、生物成本、固定資產成本等問題其實跟 AI 關係不大。因此，AI 只是起到了一個錦上添花「可有可無」的作用。

選自知乎用戶 @Long 的回答。

選自知乎用戶 @ 付光棟（華中農業大學農業推廣碩士）的回答。

其次，有位養豬設備從業者指出，目前，很多豬場都還沒有完成信息化的過程，也沒有大數據的積累，因此要想一步跨入人工智能可能有點困難。因此，要實現真正的人工智能養豬，首先需要解決豬場的信息化建設問題，把豬場的豬、物、人都納入到信息化管理中，養豬數據纔會逐步積累起來。

當然，AI 養豬也有其自身的優勢，如減少人力的使用以及人與豬的接觸。前者在 AI 技術成本降低之後有助於減少養豬的總人力成本，而後者有助於改善養豬從業者的工作環境並降低疾病傳染風險。

而且，AI 養豬或許還可以爲程序員提供一個新的就業方向：

選自知乎用戶 @ 王忻（動物遺傳育種與繁殖博士）的回答。

參考鏈接：https://www.zhihu.com/question/266824590

推薦閱讀：

• 專輯|相機標定
  

• 專輯|3D點雲
  

• 專輯|SLAM
  

• 專輯|深度學習與自動駕駛
  

• 專輯|結構光
  

• 專輯|事件相機
  

• 專輯|OpenCV學習
  

• 專輯|學習資源彙總
  

• 專輯|招聘與項目對接

• 專輯|讀書筆記

重磅！3DCVer-學術論文寫作投稿 交流羣已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流羣，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流羣，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲後處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信羣，請掃描下面微信號加羣，備註：”研究方向+學校/公司+暱稱“，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進去相關微信羣。原創投稿也請聯繫。

▲長按加微信羣或投稿

▲長按關注公衆號

3D視覺從入門到精通知識星球：針對3D視覺領域的知識點彙總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發佈3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業爲一體的鐵桿粉絲聚集區，近1000+星球成員爲創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

 圈裏有高質量教程資料、可答疑解惑、助你高效解決問題