摘要：針對外界對盤古*模型充滿了好奇，參與*模型開發的兩位華爲雲專家來爲*家答疑解惑。
4月25日，華爲雲發佈盤古系列超*規模預訓練模型，包括30億參數的全球最*視覺（CV）預訓練模型，以及與循環智能、鵬城實驗室聯合開發的千億參數、40TB訓練數據的全球最*中文語言（NLP）預訓練模型。
其中，盤古NLP*模型由華爲雲、循環智能和鵬城實驗室聯合開發，具備領先的語言理解和模型生成能力：在權威的中文語言理解評測基準CLUE榜單中，盤古NLP*模型在總排行榜及分類、閱讀理解單項均排名第一，刷新三項榜單世界歷史紀錄；總排行榜得分83.046，多項子任務得分業界領先, 向人類水平（85.61）邁進了一*步。
外界對盤古*模型充滿了好奇，在華爲開發者*會（Cloud）期間，參與*模型開發的兩位華爲雲專家回答了以下幾個*家關心的問題。
謝凌曦博士專訪
Q:作爲一個開發者，請問這些預訓練模型的易用性如何？使用成本有多高？
謝凌曦：預訓練模型設計的目的就是爲了讓*家降低使用成本。模型的預訓練過程，成本是比較高的，但這個成本不需要開發者來承擔。而在使用這些*模型的時候，它本身的易用性會使得使用成本進一步降低，達到一個比較合適的水平。比如說，我們會開發出一些比較通俗易懂的Pipeline，如果你是有一定基礎的開發人員，你可以從我們的Pipeline當中去做更多的定製化的開發，更好地去釋放我們預訓練模型的能力。如果你只是一個AI開發小白，想用*模型去做AI簡單的開發，我們也會給你更加通俗易懂的界面，讓*家能夠用一些拖拉拽的方式使用盤古*模型。總體來講，*家在使用預訓練模型的時候，計算時長、調參所需要重複的代價等都會被降到很低，總體來講是對開發者非常友好的。
Q：對於新入門計算機視覺的人來說，需要掌握什麼哪些知識才能快速進入到學*和研發中？
謝凌曦：人工智能、計算機視覺，經過幾十年的發展，到現在已經擁有很龐*的知識體系。如果一個初學者想要把這些東西都瞭解以後再開始做研究，效率會稍微有點低。我給*家的建議是，你在學*過程當中，可以先找準一個問題。剛開始的時候，這個問題可能是相對初級的問題，但一定有具體的場景。比如想做弱監督學*，一般就是遇到某個實際的問題，它確實需要弱監督算法。但是這個時候我是不是一定要掌握全監督才能去做弱監督呢？並不是這樣的。你可以先去查閱一些資料，瞭解當前的弱監督學*方法，它的基線是什麼，它的前沿在哪裏。然後你就可以開始做一些簡單的實驗。實驗的過程當中，一般會遇到一些困難或者一些疑惑。解決這些困難和疑惑的過程，一般就會把你引導到它的基礎，比如說全監督到底是怎麼做的。當你有了更多基礎以後，回過頭來，也會發現你對當前做的算法有了一個更好的理解。
所以我的建議是*家可以找一本機器學*、計算機視覺這類介紹比較深入的教材去看。但是不要侷限於這個教材：一邊做具體的課題，一邊去學*知識，效率會比較高。
張曉鵬博士專訪
Q：盤古CV*模型有哪些成功的落地？跟業界相比處在什麼位置？
張曉鵬：視覺預訓練CV*模型，結合相關流程化開發，已經在華爲內部以及其他合作項目上，有100+成功落地，這些方向涵蓋了各行各業，包括工業視覺、網絡審查、零售商超，以及醫療等場景，都獲得了一些相較於之前不使用預訓練*模型更高的結果。在某些場景上，比如剛纔提到的遙感影像分割，我們通過設計針對遙感影像的預訓練算法，在沒有增加額外標註代價的情況下，達到了最多12%的分割精度提升。還有另外一個比較有意思的現象，我們使用超*規模圖像進行的預訓練模型具有更好的可遷移性，即直接把這樣一個模型，遷移到了工業質檢的缺陷上進行推理，我們非常欣喜地發現，我們在下游數據集上沒有進行任何微調，但是在工業缺陷檢測上，獲得了比之前我的模型不停地高度的優化，甚至利用下游的數據微調更好的結果，這個結果基本上會高出3到4個百分點。這個啓發我們，模型數據一旦夠多，其實它的泛化能力能夠獲得更好的保障。
第二，我們是國內最早做視覺預訓練*模型的公司之一。在國外是Facebook和谷歌從2019年開始在圖像上做了一些應用。我們視覺預訓練模型*概從2019年底的時候就開始了，通過自研的一些列改進算法，我們首次在基於imagNet 的無監督預訓練模型線性分類精度上達到了全監督基線的水平，同時在小樣本學*上**領先現有技術，這些都是業界領先的成果。
Q： 華爲的預訓練是採用什麼類型數據和學*任務？*模型如何保證端側性能？
張曉鵬：針對視覺圖像不同角度，以及不同場景的變化，我們採取的方法非常簡單。一，我們可能有海量數據集，這個數據集規模已經達到了億級甚至十億級這樣的規模，我們相信這個海量的數據集，它能夠建模，我們實際場景圖像的方方面面。另外一個，我們採取了什麼樣的學*方式。其實它的一個核心思想，就是2019年開始，比較火的基於全局的對比度自監督學*方法。
當然我們在這上面做了很多改進。包括如何來利用弱標籤信息，如何把全局的信息拓展到局部來更好建模局部相關關係。同時也會呼應剛纔提到的，如何處理不同視角，不同尺度圖像問題，怎麼來讓它進行高效的建模，這裏面就是讓它進行不同的數據增強，我們在預訓練算法裏面，集成了十餘種數據增強方法，讓它通過不同的數據增強，使得整個模型具有針對不同數據增強的不變性。
到目前爲止，我們在一個*模型，搭載模型蒸餾、抽取以及行業*模型，我們現在已經適配了*概十餘種預訓練模型。而這十餘種模型都是通過我們一個*模型的抽取，蒸餾所得到的，它在相應的行業上，得到了非常*的精度提升。同時也極*的減少了標註代價以及模型迭代週期。
Q：華爲的預訓練模型是如何結合不同行業知識，解決標註數據*的問題？
張曉鵬：舉一個我們在HDC Cloud上發佈的國網電力智能巡檢的例子，這就是非常典型的利用盤古CV*模型解決行業知識。
在國網電力巡檢模型開發的過程中，它有海量的數據，標註非常困難，我們做了什麼呢？通過我們的視覺預訓練算法，在海量的巡檢數據上進行預訓練，這個預訓練是利用了無人機巡檢的數十TB，上百萬規模的數量，進行預訓練，它的預訓練可以看到我們非常多的數據，它的內在分佈。我們的*模型，模型參數越*，也看了更多的數據，所以說它能夠更好的建模無人機巡檢過程中的圖片的細微差異。
利用我們的視覺預訓練*模型，它能夠提供更好的表徵以後，因爲它的缺陷和正常樣本的表徵能力更強，我們在標註代價上，基本上減少了80%以上，這一塊整個在人力上是一個非常*的提升。除了減少標註，我們一個模型可以適配我們電力行業一百多種缺陷，從而讓模型迭代週期**減少，整個迭代效率*概提升了10倍，我們在每次迭代過程中反饋給人需要標註的整體的工作量就會越少，通過這兩種模式，我們實現了在電力行業方面，利用我們視覺預訓練模型，極*的提升了我們的開發效率。