人工智能行業因爲環境污染也被“限號”了?

  人工智能行業通常與石油行業進行比較:從開採到提煉,數據就像汽油一樣是一種利潤豐厚的產品對於市場來說,市場上的數據就像是驅動公司前進的石油一樣,就像是汽油對於汽車一樣重要。但是很多人不知道的是, 與化石燃料相比,人工智能的訓練過程對環境產生了更加巨大的負面影響。

  馬薩諸塞大學阿默斯特分校的研究人員對幾種常見的大型AI模型進行了生命週期評估。 他們發現這個過程可以排放超過626,000斤的二氧化碳當量,這幾乎是普通汽車一生排放量的五倍。

  對於AI研究人員長期懷疑的事情,這是一種不正確的統計。所有研究人員都沒有考慮過這些因素,認爲環境影響是巨大的。但是爲什麼會產生這麼大的影響呢?

  自然語言處理(NLP)的模型訓練過程,這是人工智能的子領域,專注於教授機器來處理人類語言。在過去兩年中,NLP社區在機器翻譯,句子完成和其他標準基準測試任務方面達到了幾個值得注意的性能里程碑。但是,這些進步需要對從互聯網上搜集的龐大數據集的大型模型進行培訓。該方法計算成本高且能耗高。

  研究人員研究了該領域的四個模型,這些模型負責性能的提高。每個模型在一個GPU上訓練每個人長達一天來測量其功耗。每個GPU就是一個獨立的高性能顯卡,然後,他們使用模型原始論文中列出的培訓時數來計算整個培訓過程中消耗的總能量。根據平均能源結構,該數字轉換爲二氧化碳當量磅數,這與亞馬遜最大的雲服務提供商AWS所使用的能源結構非常接近。

  培訓的計算和環境成本與模型大小成比例增長,然後再使用額外的調整步驟來提高模型的最終精度時爆炸。特別是,他們發現稱爲神經架構搜索的調整過程,試圖通過窮舉試驗和錯誤逐步調整神經網絡的設計來優化模型,具有極高的相關成本,幾乎沒有性能優勢。沒有它,最昂貴的型號顯卡GPU的碳足跡大約相當於1,400磅的二氧化碳當量,接近一個人的往返跨美洲航班。

  更重要的是,研究人員指出,這些數字只應被視爲基線。 訓練單一模型是可以做的最少量的工作,但是實際上,人工智能研究人員更有可能從頭開發新模型或將現有模型適應新的數據集,其中任何一個都需要更多輪次的培訓和調整。  大連×××醫院 mobile.84239650.cn

  爲了更好地處理完整開發流程在碳足跡方面的表現,發現,建立和測試最終紙質模型的過程需要在6個月內培訓4,789個模型。轉換爲二氧化碳當量,它排放超過78,000磅,這樣的訓練量是人工智能領域的普遍工作方式。

  這些數字的重要性是巨大的,特別是在考慮人工智能研究的當前趨勢時。 總的來說,大多數人工智能的最新研究忽視了效率,因爲已發現非常大的神經網絡對各種任務都有用,而擁有大量計算資源的公司和機構可以利用這一點來獲得競爭優勢,需要進行這種分析,以提高對所用資源的認識,並引發爭論。

  這樣的問題強調了人工智能中另一個日益嚴重的問題:現在產生二氧化碳結果所需的資源強度使得學術界工作人員繼續爲研究做出貢獻越來越具有挑戰性。 對於大量數據培訓大型模型的這種趨勢對學術研究生其實是不大可行,因爲這些研究人員並沒有計算資源,因此,學術界的研究人員和商業的研究人員之間存在着設備資源不平均的問題。所以導致,研究人員無法通過更先進和更大的設備提高算法和訓練模型,從而幫助商業研究員進行效率的提升。人類的大腦可以用很少的能量做出驚人的事情,所以其實更大的問題是在一個更加環保方式下,我們如何建造模仿人類大腦的機器。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章