華爲雲田奇：雲原生時代，視覺預訓練大模型探索與實踐

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"近日，在Qcon全球軟件開發大會（深圳站）上，華爲雲人工智能領域首席科學家、IEEEFELLOW田奇博士，作了題爲“雲原生時代，視覺預訓練大模型探索與實踐”的主題演講，介紹了雲原生時代華爲雲在AI基礎研究、視覺預訓練模型研發和行業實踐，以及AI開發平臺ModelArts的最新進展。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.infoq.cn\/resource\/image\/f0\/5e\/f05bf89d622f2813b14483eb6433d25e.png","alt":null,"title":"","style":[{"key":"width","value":"75%"},{"key":"bordertype","value":"none"}],"href":"","fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"以下是田奇博士演講要點："}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"隨着企業數字化的轉型，傳統企業已基本上將業務從線下搬到了雲上。其中，第一個階段是將企業的業務簡單地部署到雲上，我們可以稱之爲"},{"type":"text","text":"ONCLOUD"},{"type":"text","text":"，在這種形態下，通過資源池化，解決了"},{"type":"text","text":"IDC"},{"type":"text","text":"時代運維、部署、擴容的難題。但是，傳統方法的過於厚重、煙囪式的架構，導致雲對業務的價值還僅僅停留在資源供給階段，未充分發揮出雲計算的潛力。隨着企業的數字化建設逐步邁入智能化階段，企業需要充分利用雲計算帶來的紅利，就需要讓其業務能力內生於雲，由現在的"},{"type":"text","text":"ONCLOUD"},{"type":"text","text":"進階到"},{"type":"text","text":"IN CLOUD"},{"type":"text","text":"階段，即基於雲的技術架構來構建企業業務，通過構建多雲、多中心的分佈式架構以及敏捷、智能的企業數字化業務，將企業的數字化建設帶入智能化新階段。此時，雲對業務的價值不再是簡單的資源供給，還能夠以應用爲中心，爲業務賦能。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"一站式"},{"type":"text","marks":[{"type":"strong"}],"text":"AI"},{"type":"text","marks":[{"type":"strong"}],"text":"開發平臺，加速行業"},{"type":"text","marks":[{"type":"strong"}],"text":"AI"},{"type":"text","marks":[{"type":"strong"}],"text":"落地，踐行普惠"},{"type":"text","marks":[{"type":"strong"}],"text":"AI"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲提供了一站式的"},{"type":"text","text":"AI"},{"type":"text","text":"開發平臺，加速行業"},{"type":"text","text":"AI"},{"type":"text","text":"落地，踐行普惠"},{"type":"text","text":"AI"},{"type":"text","text":"。華爲雲對"},{"type":"text","text":"AI"},{"type":"text","text":"平臺打造了四層體系，第一層是智能體；第二層是知識計算解決方案；第三層是"},{"type":"text","text":"ModelArtsPro"},{"type":"text","text":"，針對專業應用開發套件；第四層是"},{"type":"text","text":"ModelArts Fundamental"},{"type":"text","text":"。對於一站式的"},{"type":"text","text":"AI"},{"type":"text","text":"開發平臺，主要聚焦在模型高效、數據高效以及知識高效。這些強大的"},{"type":"text","text":"AI"},{"type":"text","text":"服務，底層都是基於雲原生容器的"},{"type":"text","marks":[{"type":"strong"}],"text":"Volcano"},{"type":"text","text":"高效能調度引擎，而"},{"type":"text","marks":[{"type":"strong"}],"text":"Volcano"},{"type":"text","text":"調度引擎將訓練任務的效率提升了"},{"type":"text","text":"50%"},{"type":"text","text":"。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"華爲雲"},{"type":"text","marks":[{"type":"strong"}],"text":"AI"},{"type":"text","marks":[{"type":"strong"}],"text":"基礎研究進展"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"華爲雲長期紮根"},{"type":"text","text":"AI"},{"type":"text","text":"技術基礎研究，在計算機視覺、語音語義、決策優化三個方向做了深入探索與研究。爲此，我們針對數據、模型和知識提出了六個子計劃。其中，針對模型包含兩個計劃，一個是針對大模型的模型摸高計劃，提供極致的性能；第二是針對小模型的模型瘦身計劃。針對數據提出了兩個計劃，一個是處理多模態的數據魔方計劃；另一個是針對小樣本學習的數據冰山計劃。最後針對知識的高效提取，我們提出了兩個計劃：建造通用"},{"type":"text","text":"AI"},{"type":"text","text":"系統的萬物預視計劃以及學習一種新範式的虛實合一計劃。在這些計劃中，我們始終聚焦在模型高效、數據高效、知識高效等重點方向上。對於自主研發的一些新技術，比如自動學習、知識蒸餾、預訓練模型等等，都會以即插即用的方式部署到華爲雲線上，助力"},{"type":"text","text":"AI"},{"type":"text","text":"行業落地。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"在衆多"},{"type":"text","text":"AI"},{"type":"text","text":"領域中，計算機視覺具有廣泛的落地場景，在智能汽車、智能手機、無人機、智能眼鏡等應用都有計算機視覺算法的身影。這些年隨着計算能力和"},{"type":"text","text":"5G"},{"type":"text","text":"通信技術的極大提高，以計算機視覺爲代表的大批"},{"type":"text","text":"AI"},{"type":"text","text":"技術，已跨越了早期僅在研究領域取得進展的階段，過渡到了與社會環境協同發展、共同促進的階段。未來視覺"},{"type":"text","text":"AI"},{"type":"text","text":"技術會在千行百業進行落地，比如政府、醫療、工業、能源、交通、物流、金融等等。但是，技術落地也面臨着巨大的挑戰，由於"},{"type":"text","text":"AI"},{"type":"text","text":"應用的碎片化、定製化等因素，極大地限制了"},{"type":"text","text":"AI"},{"type":"text","text":"在真實環境下的落地部署。爲了解決應對"},{"type":"text","text":"AI"},{"type":"text","text":"碎片化等問題，我們提出了預訓練大模型的解決方案，希望能用大量無標註的數據和更大的模型來實現更通用的"},{"type":"text","text":"AI"},{"type":"text","text":"系統。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"   "},{"type":"text","marks":[{"type":"strong"}],"text":" "},{"type":"text","text":"在自然語言處理領域，這兩年大規模預訓練模型取得了突破性進展，但是預訓練模型對算力有極大的需求，而且我們預計更大規模、更大參數的模型還會繼續出現。因此，受到自然語言處理中預訓練模型的啓發，在計算機視覺中我們也希望構建通用的"},{"type":"text","text":"AI"},{"type":"text","text":"系統，爲下游各種視覺任務提供一個高效的初始化模型。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"現在主流的學習方式有兩種，一種是監督學習，一種是強化學習。監督學習需要海量標註樣本，泛化能力相對比較弱，另一種是強化學習，強化學習需要海量的試錯，同樣缺乏通用系統所需要的可適用性、可重複性以及魯棒性。我們認爲，自監督學習是邁向常識學習的關鍵步驟，但是目前自監督學習在視覺任務中的應用還不夠成熟。過去，在數據標註、模型訓練和輸出階段，分別要做大量的重複工作。未來，我們希望可以對計算機視覺或者自然語言處理任務構建一個通用預訓練模型，僅通過下游少量的標註樣本進行微調就可以高效完成任務，從而大量節約開發成本。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"視覺預訓練大模型研究和實踐"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"接下來的報告，我會介紹一下我們在預訓練模型方面的工作，主要是在自監督學習過程中預訓練模型的一些進展。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"自監督學習由於不需要任何人工標註便能夠學習圖像的內在表徵，近年來受到了業界的極大關注。在沒有人工標註的情形下，自監督學習需要預先設定一些預訓練任務輔助模型學習。"},{"type":"text","text":"2016"},{"type":"text","text":"年以前，一些預訓練任務推動該領域出現了一些大的進展。自監督學習主要分爲兩種，一種是生成式，一種是對比式，近幾年最新的一些工作大多是基於實例區分的對比學習。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"   "},{"type":"text","text":"基於實例區分的對比自監督學習在最近幾年取得了極大的進展，在一些任務上刷新了現有自監督預訓練任務的"},{"type":"text","text":"SOTA"},{"type":"text","text":"結果。最近我們在對比自監督學習方面有兩項優化工作，首次實現了在"},{"type":"text","text":"ImageNet"},{"type":"text","text":"線性分類任務中達到全監督基線性能，並且在小樣本分類上大大超越了之前的方法。然而，現有的自監督預訓練模型仍然處於探索階段，存在大量的問題未能夠解決：現有的自監督預訓練算法迭代緩慢，很難複製到大模型以及超大規模數據集；另外，相較於全監督學習，其特徵表達在大多數下游任務上僅僅能獲得與之相比擬的結果，其進一步的性能優勢還有待挖掘。因此，如何利用自監督學習在超大數據集合，超大模型上獲取更強的泛化性能將會是未來的發展方向。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在這裏，介紹一下我們最新的幾個工作，在對比自監督學習框架下，我們提出了基於鄰域保持的混合圖像增強，在業界首次提出了利用不同圖像數據增強策略提升其泛化性能。過去，對比學習通常利用同一樣本的不同數據增強生成正樣本集合，並且把其他樣本均視爲負樣本的策略，將樣本特徵的距離拉近或者拉遠作對比學習任務，而我們首次提出了選取不同正樣本的方法。同時，提出了基於局部領域混合增強的技術，把多個相似樣本的特徵拉近，不同樣本的距離拉遠。我們的方法在"},{"type":"text","text":"ImageNet"},{"type":"text","text":"線性分類評估上，"},{"type":"text","text":"TOP-1"},{"type":"text","text":"的精度達到了"},{"type":"text","text":"75.5%"},{"type":"text","text":"準確率，離監督學習基線"},{"type":"text","text":"76.5%"},{"type":"text","text":"僅僅差了"},{"type":"text","text":"1"},{"type":"text","text":"個百分點。通過對預訓練模型在小樣本標註數據上進行微調（"},{"type":"text","text":"1%"},{"type":"text","text":"和"},{"type":"text","text":"10%"},{"type":"text","text":"標註的數據），我們的精度達到了最好的結果。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"接下來介紹一個我們今年剛剛完成的工作，基於等級化語義聚集的對比自監督學習框架。在上述工作的基礎上，我們進一步發現即使顯示地拉近語義相似性樣本，特徵表達的可分離特性並沒有達到我們的預期目標，這限制了其泛化表徵能力。自監督學習仍然存在優化困難，收斂速度慢等問題，爲此，我們做了兩點改進，第一，我們拓展了自監督學習算法中正樣本數目，使得正樣本集合能夠更加高效的被聚集，同時避免受大量負樣本優化的影響。第二，我們在淺層特徵上引入對比自監督學習，通過精心設計的淺層優化目標加速訓練過程，在淺層特徵上實現了更好的可分離性，我們發現這些優勢對小樣本學習有極大的提升。從結果來看，我們在線性分類任務中達到了"},{"type":"text","text":"76.4%"},{"type":"text","text":"的精度，首次達到了和全監督基線相比擬的性能，而且通過將預訓練模型在小樣本標註數據上進行微調，在之前的結果上又得達到了新的"},{"type":"text","text":"SOTA"},{"type":"text","text":"，特別地，僅僅使用"},{"type":"text","text":"10%"},{"type":"text","text":"標註，我們在"},{"type":"text","text":"ImageNet"},{"type":"text","text":"分類上達到了"},{"type":"text","text":"75.1%"},{"type":"text","text":"的"},{"type":"text","text":"TOP-1"},{"type":"text","text":"精度。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"上述兩項工作都是在沒有任何標籤設置下完成的，更進一步，我們探索瞭如何把對比學習和數據標籤高效地結合起來，通過引入圖像真實標籤來輔助對比學習，我們認爲應該將自監督學習得到的表觀特徵和監督學習的語義特徵相結合，它的本質是把表觀相似和語義相似的樣本距離拉近，將不相似樣本的距離推遠。從結果上看，這個工作在各個下游工作中（比如檢測、語義分割、實例分割）的表現全面超越了以往的自監督和全監督的泛化能力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"華爲雲的第二個核心研究方向是如何設計高效的視覺識別模型，即模型高效。在這個方向主要聚焦兩個方面，第一是如何設計神經網絡模型，第二是在神經網絡架構搜索中，如何在原子算子層面上進行搜索。關於神經網絡模型設計，最初的方式都是手工設計的，這種方式經過高速發展後，也進入了一個瓶頸，因此從"},{"type":"text","text":"2017"},{"type":"text","text":"年開始，自動的神經網絡架構搜索經歷了一個迅猛發展的過程，也取得了一些可喜的成績。但是搜索出的網絡也面臨幾個問題，第一個問題，搜索空間仍然是手工定義的；第二個，搜索的卷積算子是人工定義的，而且相比於手工設計的網絡，搜索的網絡可遷移性也是比較差的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"我們在網絡架構搜索上第一個工作是"},{"type":"text","text":"P-DARTS"},{"type":"text","text":"，提出漸進的可微分網絡架構搜索算法。之前的網絡架構搜索面臨着搜索網絡和測試網絡深度不一樣的問題，在較淺的搜索網絡中搜索出來的架構並不適合較深的測試網絡。早期的方法直接加深搜索的深度，但是會造成顯存爆炸的問題，並且導致搜索不穩定。爲了解決這個問題，我們提出了兩個思想，一個是搜索空間近似，第二個是搜索正則化。搜索空間近似，是指採用漸進搜索策略，逐漸加深搜索的深度；同時進行鏈接權重的學習，把權重比較小的鏈接運算都扔掉，這樣減少了搜索空間。搜索正則化主要是對搜索得到的一些"},{"type":"text","text":"skipconnect"},{"type":"text","text":"的數量上的限制。從結果上看，我們把"},{"type":"text","text":"P-DARTS"},{"type":"text","text":"搜索的網絡遷移到"},{"type":"text","text":"ImageNet"},{"type":"text","text":"上，在"},{"type":"text","text":"ImageNet"},{"type":"text","text":"分類任務上與基線方法相比提高了兩個百分點。"},{"type":"text","text":"P-DARTS"},{"type":"text","text":"網絡搜索算法是在"},{"type":"text","text":"P100"},{"type":"text","text":"上完成的，大概需要"},{"type":"text","text":"0.3"},{"type":"text","text":"個"},{"type":"text","text":"GPU-days"},{"type":"text","text":"。與去年同期的"},{"type":"text","text":"DARTS"},{"type":"text","text":"工作進行大致的比較，它的搜索時間是"},{"type":"text","text":"4"},{"type":"text","text":"個"},{"type":"text","text":"GPU-days"},{"type":"text","text":"，而在性能和速度都有超越的情況下，我們的方法只需要"},{"type":"text","text":"0.3"},{"type":"text","text":"個"},{"type":"text","text":"GPU-days"},{"type":"text","text":"。我們在架構搜索上的第二個工作是"},{"type":"text","text":"PC-DARTS"},{"type":"text","text":"，這是業界搜索速度最快的網絡架構方法之一，其主要思想有兩個，一個是採用局部連接的思想來解決網絡冗餘的問題，第二個是採用邊正則化的思想來解決網絡搜索穩定性的問題。並且，這個工作首次在大規模圖像數據集"},{"type":"text","text":"ImageNet"},{"type":"text","text":"上進行了神經網絡架構搜索。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"我們最新的一個相關工作是"},{"type":"text","text":"GOLD-NAS"},{"type":"text","text":"，漸進剪枝的單階段可微分搜索算法。這個算法主要的一個貢獻是它打破了傳統可微分搜索空間的諸多限制，因此大大增加了搜索空間的容量，並提出了單階段優化策略和漸進剪枝的優化策略。從結果上看，在擴大的搜索空間中，算法不僅能夠找到絕對性能更強的網絡，也能找到具有更高性價比的網絡。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"我們第四個工作是卷積搜索，提出對卷積操作進行搜索，當前的模型搜索都是採用一些固定的卷積操作，比如"},{"type":"text","text":"1"},{"type":"text","text":"×"},{"type":"text","text":"1"},{"type":"text","text":"、"},{"type":"text","text":"3"},{"type":"text","text":"×"},{"type":"text","text":"3"},{"type":"text","text":"的卷積，這種方式限制了模型的性能。因此，爲了將卷積的設計也納入搜索的範圍，這個工作提出了針對點雲任務的基於數據驅動的模型搜索，同時對卷積的結構也進行了搜索，將來將進一步擴展到傳統的圖像領域。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"我們最近兩年在計算機視覺三大頂會"},{"type":"text","text":"CVPR"},{"type":"text","text":"、"},{"type":"text","text":"ICCV"},{"type":"text","text":"、"},{"type":"text","text":"ECCV"},{"type":"text","text":"大概發表了近百篇文章，基本進入視覺研究領域第一梯隊，極大地提高了華爲在計算機視覺領域的國際競爭力，同時有一些工作也獲得了最佳論文和最佳論文提名。而且最新的算法已經逐漸部署到華爲的一站式"},{"type":"text","text":"AI"},{"type":"text","text":"開發平臺，在一些行業得到了廣泛的應用，下面再介紹一下視覺任務的進展和在行業的實踐。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"第一個進展是圖像分類技術，在"},{"type":"text","text":"ImageNet"},{"type":"text","text":"上，今年我們的分類準確率達到了"},{"type":"text","text":"85.8%"},{"type":"text","text":"，而之前谷歌最好的精度是"},{"type":"text","text":"85.5%"},{"type":"text","text":"。從今年"},{"type":"text","text":"3"},{"type":"text","text":"月份以來，我們在這方面一直保持着領先水平。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"第二個進展是弱標註場景下的圖像分類技術。在"},{"type":"text","text":"WebVision"},{"type":"text","text":"大規模弱標註的網絡圖像分類比賽中，大約有"},{"type":"text","text":"5000"},{"type":"text","text":"個類別的"},{"type":"text","text":"1600"},{"type":"text","text":"萬張圖像，有"},{"type":"text","text":"90"},{"type":"text","text":"多支參賽隊伍競爭，華爲雲在分類準確率上取得了業界第一的水平。我們把圖像分類技術應用到了一些傳統行業，比如米旗蛋糕店。結果上看，我們的技術讓商品整盤識別率達到了"},{"type":"text","text":"99%"},{"type":"text","text":"以上的精度。另外，我們的模型訓練時間小於一天，因此每天都可以進行模型更新，商品的識別時間也小於"},{"type":"text","text":"1"},{"type":"text","text":"秒。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"第三個進展是圖像檢測、分割技術，在業界權威的目標檢測數據集"},{"type":"text","text":"MS-COCO"},{"type":"text","text":"數據集上，不論是單模型還是多模型，我們都取得了今年業界第一的成績。我們將檢測、分割技術用到了醫療智能體，在今年新冠肺炎"},{"type":"text","text":"AI-CT"},{"type":"text","text":"輔助篩查中實現了自動智能檢測，而且已經在各大醫院成功部署。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"我們第四個進展是多模態數據處理技術，相對於單模態，多模態具有天然的互補優勢，比如在無人駕駛中除了圖像的輸入，還有激光雷達信號、"},{"type":"text","text":"GPS"},{"type":"text","text":"、圖像分割的數據。在最權威的三維目標檢測"},{"type":"text","text":"NuScenes"},{"type":"text","text":"數據上，我們提出的技術也取得了非常好的成績，我們的結果比第二名領先了"},{"type":"text","text":"3.1%"},{"type":"text","text":"。同時我們將多模態處理技術用在了深圳交通智能體上，實現對紅綠燈控制的智能化，在交通總量相同的情況下將平均通行車速提高了"},{"type":"text","text":"15%"},{"type":"text","text":"，將平均等待時間、延誤時間下降了"},{"type":"text","text":"17.7%"},{"type":"text","text":"。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"最後介紹一下華爲雲一站式"},{"type":"text","text":"AI"},{"type":"text","text":"開發管理平臺"},{"type":"text","text":"ModelArts"},{"type":"text","text":"。"},{"type":"text","text":"ModelArts"},{"type":"text","text":"有兩個不同層次的版本，一個是"},{"type":"text","text":"ModelArtsFundamental"},{"type":"text","text":"，一個是"},{"type":"text","text":"ModelArts Pro"},{"type":"text","text":"。根據華爲雲在十多個行業常年的技術積累，"},{"type":"text","text":"ModelArtsPro"},{"type":"text","text":"開發平臺主要提供五大類的專業應用開發套件，包括文字識別套件、視覺套件、知識圖譜套件、多模態開發套件、自然語言處理套件，還提供了四十多個行業級的高精度預置的算法，"},{"type":"text","text":" "},{"type":"text","text":"包含數據準備、數據處理、"},{"type":"text","text":" "},{"type":"text","text":"模型設計、模型管理及部署等等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"    "},{"type":"text","text":"以上是華爲雲在視覺預訓練模型上的一些基礎研究最新進展和行業實踐的案例，以及在華爲雲"},{"type":"text","text":"AI"},{"type":"text","text":"開放平臺沉澱的一些工作。謝謝！"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}}]}