這是一篇非常有意思的論文,它將時間序列分塊並作爲語言模型中的一個token來進行學習,並且得到了很好的效果。
Chronos是一個對時間序列數據的概率模型進行預訓練的框架,它將這些值標記爲與基於transformer的模型(如T5)一起使用。模型將序列的值縮放和量化到一個固定的詞彙表,並在通過高斯過程創建的公共和合成數據集上進行訓練。Chronos模型的參數範圍從20M到710M不等,在已知數據集上優於傳統和深度學習模型,在新數據集上表現出具有競爭力的零樣本性能。
https://avoid.overfit.cn/post/3d2f93d490b5417d9e10ae3fad935c18