編譯：chux
出品：ATYUN訂閱號
Facebook開源了Horizon，這是一個由Facebook AI研究人員，推薦系統專家和工程師創建的強化學習平臺。
Facebook工程師和Horizon項目負責人Jason Gauci在電話採訪中表示，該框架的研發開始於兩年半前，並在Facebook內部已使用一年。
Horizon是爲大規模部署AI而制定的，因此公司或研究團隊可以執行可能需要數千個CPU或GPU進行數十億觀測的操作。但是，由於它使用Apache Spark進行預處理而PyTorch用於訓練AI系統，因此Horizon也可以部署在一臺計算機上。
Facebook的產品團隊使用Horizon進行諸如M Suggestions之類的服務，可以推薦翻譯的服務，Spotify歌曲，食物網絡食譜以及基於Facebook Messenger對話中使用的單詞的無數其他內容。
它還被用於確定Facebook 360視頻的比特率，並在Facebook應用選擇向用戶發送通知時進行個性化。
強化學習使用獎勵來推動智能體的活動以達到期望的目標。Facebook選擇開源Horizon來推動強化學習和無監督學習方法領域既包括新手實踐者和學生，也包括大型研究項目。像Facebook一樣，大型研究項目需要數千臺機器來訓練AI系統。
Gauci表示，“我認爲涉及機器學習在行業範圍內廣泛採用時，強化學習是下一個前沿，所以我們想開源它，爲人們提供一個良好的平臺，讓全世界都開始使用強化學習。”
Facebook對於訓練或部署AI的開源工具並不陌生。流行的深度學習框架PyTorch 1.0版於10月發佈，集成了Google Cloud，AWS和Azure Machine Learning。還有Caffe2和Parlai，一個訓練AI模型的平臺。Facebook AI Research的研究也是開源的。
除了使用PyTorch和Apache Spark之外，TensorBoard X還用於訓練可視化，ONNX用於訓練後提供AI模型。
與在線運營的大型組織的其他形式的強化學習不同，Horizon可以離線訓練AI系統。
Horizon採用一種稱爲反事實政策評估的技術來評估AI系統的離線性能，以確定替代方法是否可以在上線之前提高性能。
Gauci解釋道，“我們可以反事實地看待這些替代行動，然後說’也許這種替代行動在這種情況下更好，’所以使用這個我們可以離線訓練，而不是像很多強化學習那樣在網上訓練，模型總是在變化，我們有一個階段，評估模型，對模型的性能有信心，然後工程師可以選擇是否部署該模型。Horizon平臺開放所有這些並使其全部可用。”
Horizon平臺也是爲了規範大型數據集的訓練，這是強化學習中常見的問題。該平臺附帶逐步說明，因此任何擁有基本計算機科學知識的人都可以使用該平臺，而不僅僅是Facebook等公司的研究人員或專家。
Gauci說，“任何具有任何基本Unix經驗的人都可以生成數據集並訓練模型，看它是如何工作的。我們希望讓很多人對這個領域感到興奮。”