簡介：進步是否會持續不減，摩爾定律式的理論在未來幾年或即將碰壁，仍有待觀察。
八年前，一種機器學習算法學會了識別一隻貓，它震驚了全世界。
幾年後，人工智能可以準確地翻譯語言，打敗世界圍棋冠軍。
現在，機器學習已經開始在諸如 “星際爭霸” 和 “dota2” 等複雜的多人視頻遊戲，以及諸如撲克之類的微妙遊戲中脫穎而出，人工智能正在快速發展。
但是速度有多快呢，是什麼在驅動着速度呢？雖然更好的計算機芯片是關鍵，但 AI 研究機構 OpenAI 認爲，我們也應該衡量實際機器學習算法的改進速度。
由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰寫並發表在 arXiv 上的論文指出，研究人員稱他們已經開始跟蹤衡量機器學習的效率，即用更少的資源做更多的事。他們使用這種方法表明，人工智能已經以一種極快的速度變得更加高效。
算法效率提升加快研究
一般說來，驅動 AI 進步的有三個因素：運算量、數據和算法創新。計算能力更容易跟蹤，但算法方面的改進卻有點難以捉摸。
我們可以將算法效率定義爲減少訓練特定功能所需的計算量，它是衡量計算機科學中算法進度的主要指標。傳統問題（如排序）的效率提升比機器學習更易於衡量，因爲它們可以更清晰地衡量任務難度。但是，可以通過保持性能恆定來將效率透鏡應用於機器學習。
自 2012 年以來，在 ImageNet 分類中訓練神經網絡達到相同性能所需的計算量，每 16 個月減少了 2 倍。與 2012 年相比，現在將神經網絡訓練到 AlexNet（一種基準圖像識別算法）所需的計算量減少了 44 倍。研究結果表明，對於最近投入大量資金的 AI 任務，算法進步比傳統硬件效率產生了更多收益。
用於訓練到 AlexNet 級別的總計算量（以太字節 /天爲單位），在任何給定時間的最低計算點都以藍色顯示，所有測量點都以灰色顯示。
尤其在翻譯和遊戲等其他流行功能，在較短時間範圍內改進的速度更快。在翻譯方面，三年後的英法翻譯中，Transformer 算法的計算能力比 seq2seq 算法低 61 倍；僅僅一年後，DeepMind 的 AlphaZero 在圍棋比賽中，其計算量比 AlphaGoZero 少 8 倍，就能與 AlphaGoZero 匹敵；而僅三個月後，OpenaAI Five Rerun 在 Dota2 上使用了比原來低五倍的計算能力，就能超越了世界冠軍 OpenaAI Five。
算法效率的提高，使得研究人員可以在給定的時間和金錢下進行更多感興趣的實驗，加速未來 AI 的研究。
機器學習的摩爾定律
機器學習中是否存在某種算法摩爾定律？
研究人員表示，目前還沒有足夠的信息來說明這一點。他們的工作只包括了幾個數據點，原始的摩爾定律圖表同樣幾乎沒有被觀察到，所以任何推斷純屬推測。此外，研究僅關注少數幾個流行的功能和頂級程序。目前尚不清楚觀察到的趨勢是否可以更廣泛地推廣到其他 AI 任務。
對於語言、遊戲等領域，大規模的計算對於整體性能仍然很重要，因此追蹤效率顯得尤爲重要，測量效率整體性能的長期趨勢將有助於描繪總體算法進展的定量情況。研究人員觀察到，硬件和算法效率提升是可乘的，並且在有意義的範圍內可以達到相似的規模，這表明 AI 進步的良好模型應該整合兩者的衡量指標。
研究結果還表明，對於具有高投資水平（研究人員花極大時間和精力）的 AI 任務，算法效率可能超過硬件效率（摩爾效率）帶來的收益。
摩爾定律是在 1965 年提出的，即當價格不變時，集成電路上可容納的元器件的數目，約每隔 18-24 個月便會增加一倍，性能也將提升一倍。
當時集成電路只有 64 個晶體管，之後出現了個人計算機和智能手機（iPhone11 擁有 85 億個晶體管）。如果我們觀察到數十年來 AI 算法效率的指數級提高，它可能會帶來什麼？
出於這些原因，研究人員開始公開跟蹤效率的整體性能，首先探索視覺和翻譯效率基準，包括 ImageNet 和 WMT14，之後再考慮隨着時間的推移將添加更多的基準。跟蹤多種措施，包括硬件的措施，可以描繪出一幅更完整的進展情況，並有助於確定未來的努力和投資在哪些方面最有效。
人工智能的未來
值得注意的是，這項研究的重點是深度學習算法，這是目前占主導地位的人工智能方法。深度學習是否能繼續取得如此巨大的進步，是人工智能領域爭論的焦點。該領域的一些頂級研究人員質疑深度學習解決該領域最大挑戰的長期潛力。
OpenAI 在較早的一篇論文中表明，最新熱門的人工智能需要相當驚人的計算能力來進行訓練，並且所需的資源正以驚人的速度增長。在 2012 年之前，人工智能程序使用的計算能力的增長主要遵循摩爾定律，而自 2012 年以來，機器學習算法使用的計算能力的增長速度是摩爾定律的 7 倍。
這也是 OpenAI 對跟蹤進展感興趣的原因。例如，如果機器學習算法的培訓成本越來越高，那麼增加對學術研究人員的資助就很重要；如果效率趨勢被證明是一致的，那麼就更容易預測未來的成本並相應地計劃投資。
進步是否會持續不減，摩爾定律式的理論在未來幾年或即將碰壁，仍有待觀察。
但正如作者們所寫的那樣，如果這些趨勢在未來繼續下去，人工智能將變得更加強大，而且可能比我們想象的還要快。
原文鏈接：https://yqh.aliyun.com/detail/14195
版權聲明：