目錄
1 Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency (NIPS 2022)
2 Cross Reconstruction Transformer for Self-Supervised Time Series Representation Learning (arXiv 2022.05)
3 Utilizing Expert Features for Contrastive Learning of Time-Series Representations (ICML 2022)
4 Graph-Guided Network for Irregularly Sampled Multivariate Time Series (ICLR 2022)
5 Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting (NIPS 2020)
1 Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency (NIPS 2022)
動機
不同於圖像和文本數據，時間序列數據具備複雜的動態特性、長短期時序依賴關係，導致預訓練的目標領域數據存在潛在不匹配的問題。與此同時，經過域自適應方法能夠緩解上述問題，但是大多數已有方法難以直接尋找到適合目標領域數據的泛化示例，從而導致最終的下游任務性能次優。
貢獻
爲了使得預訓練的模型適應不同時間動態的目標域，且在訓練前無法看到任何目標域示例，本文基於時頻一致性假設，提出了一種自監督時頻對比學習預訓練模型。
2 Cross Reconstruction Transformer for Self-Supervised Time Series Representation Learning (arXiv 2022.05)
代碼：暫無
動機
時間序列的無監督/自監督表示學習在現實複雜場景中具備重要的研究意義，因爲標註樣本通常是難以獲取。現有方法主要採用對比學習框架，自動選擇相似和不相似的數據對進行學習。然後，受限於構造樣本對的先驗知識，模型學習的特徵表示難以避免不穩定性出現。
此外，目前很少有研究關注時間和頻率的關係在時間序列表示學習中的建模。
貢獻
本文旨在從新的角度學習時間序列的表示，提出了交叉重構變壓器(Cross Reconstruction Transformer, CRT)進行時間序列的表示學習。CRT通過跨域交叉重構任務實現時間序列表示學習。具體來說，我們將時間序列從時域轉換到頻域，並在時域和頻域隨機刪除(Drop)某些片段進行重構建模。
與裁剪(Crop)和掩蔽(Mask)相比，刪除(Drop)可以最大限度地保留全局上下文。然後利用變壓器架構，通過重構時域和頻域信息的數據，充分捕獲時域和光譜信息之間的跨域相關性，稱爲Dropped時域-光譜建模。
3 Utilizing Expert Features for Contrastive Learning of Time-Series Representations (ICML 2022)
動機
對比學習通過最小化正樣本對不同增強視圖的距離，來學習魯棒性的特徵表示。然而，單純地依靠不同視圖不能很好地表示原始時間序列。
此外，時間序列數據通常來源於工業或者醫學領域，領域專家可以提供特定的專家知識來輔助時間序列數據的建模和分析。
貢獻
本文提出了一種結合專家知識的時間序列表示學習方法。特別地，作者們採用專家特徵替換原始的數據增強策略，來選取用於對比學習的正樣本對和負樣本對。
上述專家特徵來源於已有的領域專家知識。此外，作者理論表明僅在單個下游任務中表現出色並不一定導致表示具有所需的特性，例如進行異常檢測或者時序預測等。具體地，作者們引入了一種新的損失函數，它能夠利用連續的專家特徵來學習數據的有用表示。
4 Graph-Guided Network for Irregularly Sampled Multivariate Time Series (ICLR 2022)
動機
在許多領域(包括醫療保健、生物學和氣候科學)，時間序列的採樣是不規則的，即連續讀數在不同時間點觀察到的變量之間的時間間隔不同。
然而，缺失填補(imputation)方法可能扭曲原始序列基礎分佈，導致不必要的分佈偏移。
貢獻
本文受到雨滴下落現象的啓發，提出了一種基於圖神經網絡的不規則時間序列分類模型。具體地，作者們將每個樣本表示爲一個單獨的傳感器圖，並使用一種新的消息傳遞算子對傳感器之間的依賴性進行建模。它估計潛在的傳感器圖結構，並利用該結構與附近的觀測結果一起預測因不規則採樣的缺失數值。
5 Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting (NIPS 2020)
動機
時間序列預測在實際應用中至關重要，並且是一個具備挑戰性的難題。多變量時序預測一般需要同時考慮序列內和序列間的相關性關係。然而，現有的工作大部分只考慮到了時域的時序依賴相關性，從而去建模序列間的關係。
貢獻
本文提出了譜時間圖神經網絡(StemGNN)來進一步提高多變量時間序列預測的準確性。在譜域中，StemGNN共同捕獲了序列間的相關性和序列內的相關性。
StemGNN在一個端到端框架中，結合了圖形傅里葉變換(GFT)模型之間的相關性和離散傅里葉變換(DFT)模型的時間依賴性。經過GFT和DFT，頻譜表示具有清晰的模式，可以通過卷積和順序學習模塊進行多變量時間序列數據預測建模。