這次要跟大家分享有關AutoAI的報道，素材源自IBM實驗室。這篇報道簡要概述了IBM在AAAI 2020演講的4篇AutoAI進展的文章。
雲計算產業化落地至今，從基礎設施即服務（IAAS）到平臺即服務（PAAS），再到現在的軟件即服務（SAAS），甚至有人提出了分析即服務（AAAS），都是爲了讓有更多其他專業背景的人有能力參與到數據本身的邏輯研究中去，而不用耗費過多的精力在前期的過程上。
這樣的想法在如火如荼的人工智能領域也同樣適用，國內國外凡是叫的上名的大廠也都致力於自動化AI平臺的研發，並取得了一定的進展。距離任何人都可以根據原始數據構建機器學習流程，甚至都不用寫代碼和調參的時代已經不遠了。
今年，IBM就帶着四篇AutoAI文章亮相AAAI 2020，作爲數據科學領域的業界領袖，它又會帶給我們怎樣的思維火花呢！
https://arxiv.org/abs/1905.00424
大多數AutoAI的研究都集中在三個領域：模型選擇、架構選擇以及適當的超參數的選擇。由MIT-IBM Waston實驗室和IBM AI Research的Liu Sijia和Parikshit Ram領導的工作描述了一種自動化數據科學系統，當該系統被輸入一個新的數據集時，它必須確定最合適的模型和該模型最高準確性的超參數（例如學習率）。在機器學習中，此任務也被稱爲CASH問題-組合算法選擇和超參數調整的縮寫。
通常情況下，CASH的解決方案包括隨機搜索和基於bandit的方法，例如連續減半和超頻。他們都涉及模型的和超參數配置的隨機抽樣，並且模型和超參數都會根據統一的概率分佈進行抽樣。
IBM的研究人員提出直接算子拆分優化方法來解決CASH問題的思路。首先，搜索過程會自動確定數據準備步驟的順序：例如獲取列的對數，列合併，異常值刪除，新功能創建等；同時，該過程還在數據科學流程的最下游進行了建模選擇。
基於以上的考慮，IBM提出了一種方法，該方法可以根據數據準備的步驟來確定最佳模型，當然，倒推回去也是可以的。這種方法將高維複雜的AutoAI問題分解爲了簡單低維的子問題。Waston實驗室AI基金會副總裁Alex Gray說,這種方法處理搜索有助於找到最佳流程。他補充道：否則，在流程中選擇的初始步驟會限制後面的選擇，通常這種選擇都不是最佳的。
但是，上述選擇最佳流程的方法會帶來高昂的計算成本。因此，研究人員通過了乘數交替方向法（alternating direction method of multipliers，ADMM）解決了這一挑戰，該方法對於最佳的定義比簡單地預測最高準確性要豐富得多，因爲在現實的產業化應用當中，除了最高準確性，還應該考慮其他因素，例如預測時間deadline、銀行貸款行業的公平性約束等。Gray表示目前該方法幾乎可以將所有的約束條件考慮進去，並提供嚴格有效的優化。
作者Liu Sijia也補充道，我們的方法在從UCI ML & OpenML數據庫收集的二進制分類數據集上表現出了獨特的效果，與已經開放源代碼的其他AutoAI工具包相比，它表現出更佳的靈活性和有效性。
https://arxiv.org/abs/1909.07140
另一個IBM團隊也試圖用其他方法解決CASH問題，由Dimitrios Sarigiannis領導的項目試圖通過採樣分佈來改善隨機搜索和基於Bandit的方法。他們開發出了一種稱之爲用於組合模型選擇和超參數調整的加權抽樣方法。該方法可以共同處理兩種類型的選擇，而第一篇文章則包括了所有可能的選擇。
加權抽樣方法提出了一種替代的概率分佈，對具有更多超參數的模型進行加權，以便對它們進行更頻繁的指數抽樣，從而可以對優化空間進行更細粒度的探索。
“我們證明，這種加權抽樣分佈在理論上確定CASH最佳解決方案的可能性要高得多，”蘇黎世IBM研究實驗室的合作者Thomas Parnell說。“我們還展示了67個表格數據集的實驗結果，證明了加權抽樣可以增強三種不同的最新CASH方法，在同等預算下實現統計學意義上的顯著準確性提升。”
Parnell說，該方法的應用非常廣泛，包括金融，零售和醫療保健領域，因爲該技術可以輕鬆集成到使用隨機搜索或bandit技術進行模型選擇和超參數調整的任何AutoAI系統中。
當然，完整的AutoAI系統需要做的不僅僅是模型選擇和超參數調整。典型的機器學習流程中還有許多其他組件，例如數據清洗，預處理，功能工程，甚至集成構建。因此，Parnell說，下一步將是看看這種“加權抽樣”方法是否可以適用於優化整個流程。
https://arxiv.org/abs/1902.10191
並不是所有的AutoAI論文在今天都可以被應用，像圖像處理就還處於早期階段。IBM和麻省理工學院的Aldo Pareja，Giacomo Domeniconi等研究人員開發出了一種新穎的深度神經網絡模型，用於學習隨着時間推移而演化的圖的動態，從而更準確地預測未來的圖的特性和結構。
該技術可用於涉及動態圖處理的任何應用程序上，例如社交網絡分析，用戶之間的關注是頻繁變化的；或者用於金融取證，因爲帳戶之間的交易是動態的，並且帳戶的性質也會隨着時間而發生變化，比如涉及洗錢的帳戶或遭受信用卡欺詐的用戶。
未來的人工智能汽車系統應該能夠使用包括圖形在內的各種輸入數據結構。畢竟，大多數機器學習模型都是圖形形式的深層神經網絡。獲取最佳圖形會產生動態圖形序列，在此過程中學習到的動態特性可能有助於設計更有效的優化程序並提高Auto AI效率。
項目負責人Jie Chen說，該方法克服了以前模型的缺點-因爲它可以處理圖形節點頻繁出現和消失的問題。他說：“與通過人爲填充不存在節點的先前模型相比，該模型具有更好的預測精度。” Chen補充說，下一步將是將模型應用到大圖的處理上，但由於計算成本高，這將非常棘手。他說：“我們正在考慮在FastGCN上運用我們先前的工作來解決圖形尺寸方面的挑戰，並用注意力模型代替遞歸模型來解決時間維度上的挑戰，”
https://arxiv.org/abs/1909.04079
IBM在AAAI上發表的第四篇論文是通過不確定與輔助間隔預測器的匹配來建立校準深度模型。“不確定性估計絕對是人們對理想的AutoAI系統的期望，” Parnell說。“在某些應用程序中，例如醫療保健，能夠量化結果機器學習流程對其預測結果有多確定是非常重要的。
”這項工作可能爲AutoAI提供潛在的更好的個性化建模方法或更強大的組件，除了常用方法，例如香草神經網絡，之前的AutoAI方法仍然非常耗時，並且擴展性很差，還有很大的改進空間。但這就是研究的全部內容，因爲當我們到達那裏時，AutoAI可能會對很多業務產生重大影響。
“你可以想象一下，自動化AI使非行業內專家構建和使用機器學習系統來處理目標任務，例如數據分析，圖像分類，視頻檢測等，” Liu說。畢竟，任何用戶都可以使用相機拍照，而不必知道相機是如何創建照片的。AutoAI也是如此：任何用戶都可以構建AI模型，而無需瞭解AI塊如何真正工作的內部機制，這沒有問題。”
