轉載http://baijiahao.baidu.com/s?id=1601901487917871613&wfr=spider&for=pc
依莊防，博士，泰伯網海外特約專欄作者。傣族，出生於西雙版納，目前就職於Development Seed（美國華盛頓特區），是一位機器學習算法工程師。
作者：依莊防
編輯：洪月月
人工智能不可阻擋地向各行業滲透。這一現象，恰巧撞上了“商業遙感衛星發射潮”。這似乎預示了某種潛流。此刻，從事衛星遙感影像解譯和大數據提取的專業人士、科研人員、政府部門和企業都躍躍欲試：恨不得在獲取數據的同時，一股腦兒在衛星上直接解譯、處理和打包，地面接收站再根據用戶需求分發。
顯然，這種願景目前還無法實現。商業衛星影像本身數據量龐大，有很多難點尚未攻關。不過，在高分辨率影像應用領域，市場和科研都有一些亮眼的成果——它們讓高分遙感從獲取、解譯到數據分配的一條龍服務的願景成爲可能。
（注：目前熱議的人工智能，其實包括了很多領域和應用。講真，所有可以用機器代替人工來做，特別是重複性強的，在媒體報道中都統稱人工智能。本文所指的人工智能，具體指用機器學習、深度學習等計算機視覺技術去分析、解譯高分遙感數據。）
所以，只有充分了解高分辨率遙感影像的直接應用難度，才能爲人工智能與遙感的結合，構建合理的想像。
高分遙感應用難度
難度1. 數據大
高分遙感影像的分辨率越大，其數據就越大。
30米分辨率指的是遙感影像上每一個像素對應的地物是30米x30米。比如地面120米 x 120米的地塊，在分辨率爲30米的衛星影像圖上是16個像元，但是在3米x 3米的衛星影像上就是1600個像元，到了30釐米 x 30釐米的衛星影像圖中則變成了160000個像元。
分辨率越高記錄的數據信息越詳細，不僅僅是像元隨着高分影像增大，其每個像元的信息複雜性也在增加，因此高分遙感影像分辨率的提高和其更低分辨率影像之間的文件大小不是線性關係。
難度2. 分析難
分辨率越高，信息量越大，數據提取就越難。
同一個地點，高分辨率遙感影像隨着分辨率越高獲取的地面數據越多，信息越複雜，就越難提取有用的信息。
如果在一二十年前用Landsat衛星影像（30米分辨率）做一個縣市級別的土地利用分類工作，直接把數據導入地理信息和圖像解譯工作平臺（ERDAS，EDVI和ArcGIS等等）大概都可以作出個產品來。但是如果衛星影像分辨率達到了30釐米(相當於30m分辨率高出100倍的精度)：30米分辨率時只能看到大概的形狀，30釐米就可以看到路上行駛的車輛了——遙感影像分辨率越高，精度越高，可以觀察到的地物就越多，那麼在衆多繁雜的信息中分辨出有用信息的難度就越大。
普通影像處理軟件處理分辨率越高的影像就越困難，此時人工智能的作用就凸顯了。高性能超級計算機，可以不知疲倦地實時處理人工和普通影像處理軟件無法完成的工作。
Digital GlobeWorldView-3影像兩個分辨率對比圖，左圖是分辨率爲1.24米（文件大小爲1.7M），右圖分辨率是0.31米（圖片大小是10.2M）
難度3. 可用性不確定
解譯數據的可用性。
這時，可能會有遙感專業的同事說，信息量大，正是高分辨率遙感的魅力所在。這話是沒有錯的。
下面咱們還要講怎麼使用人工智能遙感從高分辨率遙感影像中提取有用的信息。但是在實現這一步之前，有一個不可忽視的細節難度——分辨率越高的影像解譯和提取的信息越多，處理不好，反倒可能使得結果沒辦法用。
我們從高分辨率影像中提取的數據，最終目的是希望可以放在地圖上，供專業人士或者普通市民使用。基本上很多計算機視覺裏面使用到機器學習和深度學習（比如圖像分割、對象檢測和圖像分類）都可以在高分辨率遙感中應用。
無人駕駛汽車使用的機器學習算法是圖像分割，即該車在街道上行駛時不斷的拍照和解讀，哪裏是道路、道路邊界、行道樹和行人。從高分辨率遙感解譯信息其實也是這麼一回事，從圖像分割中知道哪裏是樓房、道路、橋樑、樹林、機場等等。
和一般計算機視覺不同的是，高分遙感提取的數據需要放在地圖上，就是說這數據不僅要在機器學習（人工智能）模型中達到好的精度，還要有準確的地理信息（比如經緯度等等）——這最終纔有可用性。
比如咱們用圖像分割中解譯出來的道路在地圖上向右平移了5米，或者解譯出來的樓房缺了三分之一等等。那麼數據要用到現實生活，如導航或者計算建築面積，就沒啥用了。
難度4.其他
高分辨率遙感影像本身特點帶來的問題。
除了以上高分辨率遙感影像文件大、信息複雜、信息提取難度高、以及人工智能模型結果的可用性不確定等因素之外，高分辨率遙感影像本身還存在以下問題：
①雲層覆蓋。大家擡眼看天空，雲層千變萬化。不同的季節和地區雲層覆蓋不一。一旦衛星影像研究區域的雲覆蓋率到了10%以上就很難從中提取好的數據。當然這個問題在商業小衛星覆蓋率高的地區，衛星可以在短時間內重複性的訪問一個地點，或者在天氣晴朗的時候使用無人機獲取數據等，是可以解決這個問題的。
②時空分辨率的取捨。空間分辨率，是到目前一直強調的高分辨率。而時間分辨率指的是遙感影像以多高的頻率獲取，比如是一天拍一次上海，還是一個月一次，還是一年一次。
高分辨率衛星影像不僅僅處理和解譯難，獲取的費用也是不菲的。因此沒有長期的研究、資金支持和投入，沒有市場需求，同時開發的高分遙感產品不能在時間或空間分辨率中佔得優勢的話，企業很難在市場上存活。比如美國Digital Globe，它的衛星影像是根據客戶需要去採集數據，它最好的數據產品WorldView-3和4的分辨率可達0.31米。Planet Lab的商業模式則不同，它是通過提高時間分辨率但（部分）放棄空間分辨率（他們的最高分辨率的衛星影像產品是1米空間分辨率），以實現每週生成覆蓋全球的遙感影像。當然，Planet同時也在提高衛星影像的空間分辨率來搶佔市場。
③波段多，難以取捨。和計算機視覺的機器學習、人工智能模型中大部分只是用紅綠藍三個色相通道（就是普通的照片）不同，高分辨率遙感影像可以有十幾到上百個波段，不同的地物解譯和圖像分割可選取不通的波段組合。但是選擇多了也很痛苦，因爲目前高分率波段組合和選擇在機器學習（人工智能）上的應用還沒有足夠積累。
人工智能和高分遙感的結合
人工智能和高分辨率遙感可以說是天作之合。
高分辨率遙感影像的存在是爲了能讓我們實時監測地面發生的變化。比如一個城市哪裏新建了房屋，哪裏新建了道路橋樑；農業上哪一個作物得了病蟲害；或者哪一個地區發生旱災澇害，要怎樣疏導災民，如何重建。也有保險公司在實時監測用戶的屋頂材料和冰雹雪災之間的聯繫，從而爲拓展房屋保險業務提供服務。人工智能可以讓我們大規模、智能化、實時性的實現數據提取。
前面說了那麼多困難，那麼，人工智能和高分辨率遙感影像解譯能結合嗎？能有未來嗎？答案是肯定的。下面待我給大家一一解讀。
傳統計算機視覺的新玩法
01.啥是機器學習（深度學習）
機器學習可以分爲監督學習，非監督學習和強化學習。
顧名思義，監督學習指的是告訴模型你認爲圖像裏哪是房子哪是路，人工智能就會建立原始衛星影像和你給的標籤（房子，道路）之間的數學關係。非監督學習就是不告訴模型哪是房子哪是道路，模型根據衛星影像裏面的像元值對圖像進行分類。強化學習則是啥也不告訴模型，讓模型自己學習，並不斷強化。當然我這是往簡單裏說，具體的解釋大家可以參考其他機器學習的資料。
高分辨率遙感影像解譯用的最多的是監督學習。
第一排的兩張圖是監督學習中的圖像分割訓練數據（左圖是衛星影像圖，右圖是標籤數據——房子和道路）。這個訓練圖集的關係就如同解方程式：其中衛星影像圖就相當於X，標籤數據就是y，人工智能模型就是在X和y中找數學關係。然後我們可以通過這個關係從未被人工智能模型訓練過的衛星影像圖中提取房子和道路的信息。
第二排的兩張圖是監督學習中的對象檢測訓練數據（左圖是衛星影像圖，右圖是房子的對象檢測框）。
在第一排訓練數據訓練的圖像分割模型，就可以從高分辨率遙感影像中找出衛星影像中哪一個像元是房子或者道路。第二排訓練數據集訓練的模型則可以用來“找房子”，這個方法一般可以用來數房子，即可以用通過新房子在一段時間的建設數量來衡量區域經濟發展的速度。比如第一排的訓練數據集可以通過在高分辨率遙感影像和標籤數據之間建立數學關係（這裏通常通過深度學習的方法），進而預測未知影像中的檢測對象。
人工智能模型通過輸入的高分辨率遙感影像和標籤數據來預測檢測對象。圖中第一排是房屋建築面積的預測模型，第二排是道路系統檢測模型。
02.高分影像和開放街道地圖（Open Street Map）爲機器學習新玩法雪中送炭
高分遙感影像數據量大，傳統的分析方法是下載一整片衛星影像，導入到可以用來分析這個影像的地理信息軟件中來分析。這項工作繁瑣、緩慢、不討好，而且受各種不可知因素影響。沒有大量的人工投入很難用於應急，比如洪澇災害來了，只能依靠過往的地圖和模型信息積累來開展工作。
通過區塊地圖服務（Tile Map Service）實現高分遙感的實時分享，以及開放街道地圖的存在，它們是未來人工智能在高分辨率遙感影像解譯方面長足發展的兩個重要基礎。要做到以上實時預測道路網絡，離不開這兩個基石。
03.區塊地圖服務（Tile Map Service）
大家肯定熟悉百度地圖、高德地圖、必應衛星影像圖。照理來說，全球或整個中國的地圖數據那麼大，儲存了那麼多數據，比如你喜歡的餐館、書店、咖啡館、電影院等等，以及你上學、上班和回家的每一條路，還有千千萬萬同學的同學、朋友的朋友的住宅小區等等。數據那麼大，可是並不妨礙你一打開手機就可以瀏覽。
這得益於區塊地圖服務（當然還有其他的技術，咱們先往簡單裏說），這個技術可以使我們從全球地圖開始，點擊放大地圖20次就可以看到世界上任何一個地區的街景。地圖在每一次放大過程中的信息量不一樣，在全球水平上是非常粗糙的國家級數據，放大20次在手機屏幕上展示的信息就是你感興趣的街景圖。
在放大地圖的過程中越來越多的信息被展現，在縮小的過程你會發現經常走的那條街不見了，慢慢的學校在地圖上消失了，然後在全國地圖上你只看到你的省會城市。
這和高分遙感影像實時分享有啥關係？說白了就是同一個道理。高分遙感簡單的說是你可以放到最大看到的衛星影像圖，精細、信息量大。可以想像，這些塊狀的衛星影像就像地板磚一樣（英文用詞是tile，很形象），分辨率爲1米的塊狀衛星影像要覆蓋（鋪滿）整個中國大概需要千萬億塊（960萬平方公里）。可想而知要在這個分辨率尺度上解譯國家級別的數據，這個工作量和人工需求有多大，就更不要說比1米分辨率更高的高分辨率影像了。
商業衛星影像公司可以通過生成不同分辨率影像，來滿足不同的用戶需求。比如要做建築物佔地面積或者道路系統的人工智能模型，就會希望用到最高空間分辨率的影像（下圖提到的放大次數我們希望用到zoom level 17以上的影像數據），但是做農業相關的土地利用圖就不需要高分辨率的影像。
區塊地圖服務可以從全球低分辨率的衛星影像放大到高尺度的衛星影像。
04.開放街道地圖
開放街道地圖是以人人都可以編輯的世界地圖爲其宗旨。全球有幾百萬會員每天都在世界不同的國家和地區編輯和錄入數據。其中人道主義援助的貢獻特別突出，比如海地和尼泊爾地震期間就有全球的志願者通過高清衛星影像編輯地圖，比如勾畫出哪個地段的道路和房子被毀了，哪裏是最近的救援點和醫院等等。
開放街景地圖可以作爲機器學習的訓練數據集，特別是訓練數據中的標籤數據。我們最近開發了一個開放的python數據包，叫做Label Maker。該數據包可以從開放街道地圖的API匹配同個地區的Mapbox衛星影像來生成包括TensorFlow、MXNet、Pytorch、Theano和Keras框架下的深度學習訓練數據集。
我們在Label Maker的上面放了幾個機器學習的案例，包括圖像分類和對象檢測，大家可以去看看（我的中文博客介紹）。
高分影像、開放街景地圖和Label Maker，加上雲計算，可以實現很多以往傳統的中低分辨率遙感影像和傳統的衛星影像解譯無法做到的。SkyNet是我們做圖像分割的一個機器學習方法，開放的，大家可以去玩玩。
我們用SkyNet可以實時從高分遙感影像中解譯道路系統。當然SkyNet的背後是劍橋大學在前幾年開發的SegNet技術。機器學習中的圖像分割（也是SkyNet）背後的技術是目前無人駕駛汽車中主要使用的計算機視覺技術之一。 我們現在還在開發更多、更新、運算更快的算法。北美和全球都有很多類似的公司和機構，開發各種深度學習、傳統機器學習在高分辨率遙感影像解譯中的應用軟件包和工具。希望未來可以給大家多多介紹。
Development Seed的SkyNet人工智能模型可以實時預測道路系統。SkyNet是一個開放的模型，任何人都可以使用。
高分遙感影像的出現和人工智能可以幫我們做很多事情。作爲這個領域的專業人士，我們該從應用的角度出發，挖掘人工智能和高分影像的應用。比如對於智能城市的建設，第一道數據關口是我們的城市裏道路建設和房屋狀況是怎麼樣的？哪裏發展最快，哪裏比較慢，爲什麼？洪澇災害來了哪裏會受災比較嚴重？醫院學校都建在哪裏，其他的公共設施都建在哪裏？
高分遙感的實時更新以及人工智能的快速運算，需要能夠回答智能城市建設的最基本問題。比如下圖，通過對比人工智能模型的建築佔地面積預測結果和已經在地圖上標記的建築佔地面積，就可以找出一個城市哪些建築是新的、還沒有標記在地圖上的。開放街景地圖的製圖任務管理人員可以號召製圖志願者到這些地方添加沒有地圖標記的建築物。同樣的道理，人工智能和高分辨率遙感影像的結合，除了可以幫城市規劃機構標記城市化的進程外，遙感的多光譜波段還可以“看見”城市建築物的材料，從而“預見”城市在不同自然災害下的脆弱程度，這對災後重建工作也會起到很大作用。
Urchn數據分享平臺中導入人工智能模型的結果，能夠幫城市規劃機構和政府部門發現城市發展和建設情況。
淺見未來
01.人工智能也需要加入人的協助
目前人工智能在高分辨率遙感影像上的應用日新月異，但是因爲衛星遙感影像應用難度，以及人工智能本身的應用瓶頸，還不能實現全程的自動化。因此，從衛星影像採集到衛星影像解譯和數據整理一條龍服務還難以達到。不過，相關專業人士可以在這個過程中助力。
比如上面提到的道路系統和房屋建築佔地面積預測在一定程度上是可以實現全程自動化的，但是還有大量案例是無法全部自動化的。
2018年我們幫助世界銀行製作巴基斯坦、尼日利亞和贊比亞三國的高壓電網圖。高壓電網在高分辨率影像中是非常難以分辨的，我們通過人工智能模型預測高壓電塔的分佈、引導專業製圖人員製圖的方式完成，這要比傳統人工查看高壓電塔、畫高壓電網的方法在速度上提高了33倍工作產出（該方法現在是開放的報告和模型方法，可供大家參閱）。
Development Seed的數據組專業製圖師們通過人工智能模型預測的高壓電塔（圖中橙色方框）來引導高壓電網製圖。
巴基斯坦高壓電網的製圖前後對比。通過人工智能模型對高壓電塔的預測，專業製圖人士的製圖效率提高了33倍。
02.高分辨率影像解譯和人工智能要完成三件事
現在人工智能（機器學習和深度學習）和高分辨率遙感的解譯和應用熱情空前高漲，但是所有業內人士也不能忽略這個問題：如何從高分遙感影像中提取可直接應用的數據。
這個問題不是專業人士拍拍腦袋就能夠決定的，而是應該從不同應用案例和使用者的角度出發來解譯和整理數據。比如同樣的方法論，我上面提到的應用圖像分割從高分辨率遙感影像中提取道路系統。城市規劃師需要的數據與交通管理部門不同，澇災情況下的導航需要的道路系統也與災後重建所需要的不同。
道路系統屬性不同，能夠支持不同的工作和需求。因此，機器學習算法工程師和高分辨率遙感影像解譯的工作，必須能夠滿足三方面的要求：第一，數據的完整性；第二，預測的準確性；第三，數據的應用性。其中，第三個條件不應該是最後考慮的，而是要在人工智能模型的開發過程中貫穿始終。
希望我們可以一起做更多更有意義的工作，通過開放的軟件開發服務更多的社區、地區、國家和需要數據的人。