公衆號關注 “GitHubDaily”
設爲 “星標”，帶你瞭解技術圈內新鮮事！
轉自量子位
還記得美國前一陣要招聘 60 歲的老程序員嗎？都怪編程語言發展太快！
因爲新冠疫情的緣故，美國一些地區的失業救濟系統不堪重負，而這些系統都是上古語言 COBOL 寫的。
然而，現在早已經是 C/C++、Java、Python 的天下了，把 COBOL 程序換成 Python，何其難也。
遠的不說，Python 2 剛剛淘汰，過去的老程序手工轉成 Python 3 也是個很大的工程。
既然 AI 能翻譯自然語言，那也應該能翻譯編程語言。
Facebook 也是這麼想的，所以他們最近提出了 TransCoder，一個翻譯編程語言的 AI，現在可以在 C++、Java、Python 語言之間互譯。
經翻譯後的程序，成功運行的通過率最高可以達到 80.9%。
而且 TransCoder 是一種無監督學習算法，意味着不需要大量成對的、標記的編程代碼數據集進行訓練。
如果這項技術達到實用化程度，對廣大程序員來說真是巨大福音啊！
難怪論文作者之一 Guillaume Lample 在 Twitter 上宣佈了這篇論文後很快引起了熱議。
翻譯編程語言，什麼原理？
TransCoder 充分利用了編程語言的特點，比如像 for、while、if 這些關鍵詞以及通用的數學運算符。
下圖展示了 C++、Java 和 Python 關鍵字的嵌入。在相似的上下文中使用的不同編程語言的關鍵字在嵌入空間中非常接近。
例如，Python 中的 except 和 Java、C++ 中的 catch 都用於獲取異常，它們被映射到非常相似的嵌入空間位置。
對於映射的實現（map 和 dict）、用於將字符串轉換爲字符數組（c_str 和 toCharArray）以及類似的變量類型 (例如 long、int 和 Integer)，也可以觀察到相同的現象。
那麼以上這些關鍵詞的嵌入是如何獲得的？
Facebook 提出了實現無監督編程語言機器翻譯的三個原則。
首先，通過跨語言掩碼語言模型（MLM）預處理來初始化模型，這有些類似於自然語言的填空題。結果是表達相同指令的代碼片段被映射到與編程語言無關的相同表示。
其次是去噪自動編碼，它能訓練解碼器始終生成有效序列，即使在輸入有噪聲的數據時也是如此，提高了編碼器對輸入噪聲的魯棒性。
最後是反向翻譯，它允許模型生成可用於訓練的並行數據。每當 Python 轉 C++ 模型變得更好時，它就會爲 C++ 轉 Python 模型生成更精確的數據，反之亦然。
通過以上步驟，TransCoder 在訓練後獲得了之前提到的跨語言嵌入。
我們觀察到，TransCoder 成功地理解了每種語言特有的語法、數據結構、函數庫和方法。
在上面的圖中，展示了 Java 和 C++ 獨有的三元運算符 X ? A : B，翻譯到 Python 中就變成了 if X then A else B。
以下是一個從 Python 翻譯到 C++ 的實例。TransCoder 推斷變量和函數返回值的類型，將 Python 的 deque() 容器映射到 C++ 中類似的實現 deque<>，並使用 C++ 的 front、back、pop_back 和 push_back 方法來檢索和插入 deque 中的元素，而不是使用 Python 方括號、pop 和 append 方法。
實驗結果
爲了訓練 TransCoder，Facebook 在 GitHub 上尋找了 280 萬個開源代碼庫進行訓練，其中包含數百億個 token。
然後去 GeeksforGeeks 平臺去驗證翻譯成果，該平臺是收集各類編碼問題，並以多種編程語言提供解決方案。
和自然語言不同的是，代碼翻譯並不太要求逐字逐句的對照，因此翻譯後的代碼和參考代碼的重合度其實很低，比如 C++ 轉 Java 的代碼和 Ground Truth 僅有 3.1% 匹配。
另外 NLP 翻譯中的 BLEU 也不宜作爲代碼翻譯的衡量標準，因爲這隻能表示實際代碼和參考代碼之間的語法差異。
因此需要一個新的度量標準 —— 計算正確率，它表示翻譯後的代碼測試後是否能與參考代碼有相同的輸出。
以此爲標準，C++ 轉 Java 的代碼的計算正確率爲 60.9%，而 Java 轉 C++ 的計算正確率爲 80.9
%。
Facebook 不是唯一開發 AI 代碼生成系統的公司。前不久微軟 Build 大會上，OpenAI 就演示了一個在 GitHub 數據上訓練的模型，僅根據註釋內容即可生成對應功能的代碼。
TransCoder 沒那麼智能，但是在計算機技術飛速發展的今天，誰知道下一個流行的語音是什麼，有了 TransCoder，至少讓我們在移植代碼的時候沒那麼難了。
也許美國社保系統的 COBOL 就靠它解決了。
論文地址：
https://arxiv.org/abs/2006.03511
---
由 GitHubDaily 原班人馬打造的公衆號：GitCube，現已正式上線！
接下來我們將會在該公衆號上，爲大家分享優質的計算機學習資源與開發者工具，堅持每天一篇原創文章的輸出，感興趣的小夥伴可以關注一下哈！