遞歸神經網絡是當今最常見的人工智能應用程序的核心，但我們很快就發現，它們並不適合用來解決廣義時間序列問題。現在已經有幾個在使用中的替代解決方案，其中有一個是剛剛出現的——ODE網絡，它與我們思考解決方案的方式截然不同。
遞歸神經網絡及其近親LSTM是人工智能自然語言處理應用程序的核心。與其他形式的人工智能相比，RNN-NLP在現實世界中的應用要多得多，包括使用卷積神經網絡識別和處理圖像。
從某種意義上說，數據科學家的隊伍已經分成了兩組，每一組都在追求使用這兩種技術開發獨立的應用。從應用角度來看，這兩種技術基本上不會發生重疊，因爲圖像處理處理的是靜態數據，而RNN-NLP是將語音和文本解釋爲時間序列數據。
雖然RNN/LSTM仍然是大多數NLP的首選技術，但我們越是試圖擴展時間序列應用，遇到的麻煩就越多。即將出現的技術可能不只是RNN的修改版本，而是對其他幾種創新人工智能方法的硬分支。
第一個分支：將CNN與RNN組合使用
第一個分支是我們去年提出的將CNN和RNN結合在一個神經網絡中（詳見《將CNN與RNN組合使用，天才還是錯亂？》）。需要解決的問題與時間序列上的圖像有關，即視頻，而最常見的任務是視頻場景標記。事實證明，這種技術對於識別和標記視頻中的情感以及根據之前在視頻中見過的人來識別某些類型的人也很有用。
第二個分支：時間卷積神經網絡TCN
去年，谷歌和Facebook都解決了RNN的第二類問題。因爲要分析的數據擴展到DNN中的多個層，所以，在開始計算之前必須等待所有這些層都完成。這也意味着MPP實際上並不可行。雖然這個過程仍然很快，但不足以快到可以讓實時語言翻譯應用程序避免明顯的延遲。
第二個分支導致這兩家公司放棄了RNN，轉而採用一種他們稱之爲時間卷積神經網絡（TCN）的CNN變體來進行實時翻譯。這看起來很像添加了“Attention”功能的CNN。因爲它們的結構與CNN類似，所以可以應用MPP，於是延遲就消失了。
第三個分支：不規則時間序列
還有一些其他類型的時間序列問題是RNN無法完美解決的。它們的主要是具有連續值或者希望將具有不同頻率、持續時間和起始點的時間序列數據組合在一起系統。
最後這一個分支看起來並沒有那麼神祕。它描述的是這樣的一種情況，在你去看不同的醫生時，你會看到自己的醫療記錄，你有不同的預約時間間隔，有不同劑量和時間間隔的用藥情況，對這些藥品等有不同的身體反應，並且你的身體在以某種可測量的方式變老、變強、變好或變壞。
這就是爲什麼人工智能的絕大多數醫療應用都只與圖像識別有關。我們在使用不規則時序AI能力方面確實存在不足，無法很好地基於不規則時間序列數據得出預測結果。
一種解決方案是將並行的醫療記錄分爲幾星期、幾天甚至是幾小時的離散步驟。理論上，這樣可以滿足RNN所要求的離散化。但問題是，爲了獲得最大的收益，你必須使用非常合適的時間桶，這樣會增加計算成本和複雜性。還有一個問題，那就是很多時間桶可能不包含任何數據。
因此，預測社區和醫療社區都需要一個人工智能解決方案，其性能要優於目前的RNN。
ODE網絡
去年12月在蒙特利爾舉行的神經信息處理系統（NIPS）大會上，來自加拿大向量研究所的研究人員提出了人工智能時間序列建模的全新概念，並被評爲大會四篇最佳論文之一。
他們的系統的名字叫作“ODE網絡”，是Ordinary Differential Equation Net（常微分方程網絡）的縮寫。但不要被誤導了，ODE網絡看起來一點也不像DNN，它沒有節點、層或互連。這是一種使用帶有反向傳播的黑盒微分方程解算器的方法，在連續和離散時間序列問題上都優於RNN。換句話說，它更像是一個堅實的計算板，而不是可以被可視化爲神經網絡的東西。
這種方法帶來了思維方式上的幾個有趣的變化。例如，在使用RNN時，你可以指定層和其他超參數，然後運行實驗，並查看所獲得的準確性。
而在使用ODE網絡時，在準確性和訓練時間之間存在一個權衡。你指定了準確性級別，ODE網絡將會找到實現這一目標的最佳方法，但訓練時間是變化的。如果訓練時間長得讓人無法接受，可以指定一個較低的準確性，以便加快訓練過程。一個有趣的結果可能是在訓練時指定高準確性，但在測試時可以指定較低的準確性。
英文原文：
