目錄
1 Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification (ICLR 2022)
2 FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes (ICLR 2022)
3 CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting (ICLR 2022)
4 Iterative Bilinear Temporal-Spectral Fusion for Unsupervised Representation Learning in Time Series (ICML 2022)
5 Towards Similarity-Aware Time-Series Classification (SDM 2022)
1 Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification (ICLR 2022)
動機：
時間序列數據是按時間或其他有意義的序列(如頻率)排序的一系列數據點。其中最具挑戰性的難題就砸與如何選取合適的時間窗口尺度（或者說是一個時間序列子片段）進行特徵提取。傳統的機器學習方法在獲取重要時間尺度上付出了巨大的努力，隨着TS長度的增加，計算資源消耗呈指數增長，例如Shapelet。卷積神經網絡能夠有效捕獲輸入數據的局部辨別性特徵，其中感受野(Receptive Field， RF)的大小一直是影響一維卷積神經網絡（1D-CNNs）在時間序列分類任務中的應用的最重要因素之一。
雖然許多研究人員已經尋找了用於TSC的1D-CNNs的最佳RF，但對於
1) 什麼尺寸的RF是最好的?仍然沒有一致的答案。
2) 應該使用多少種不同的射頻?對於特定的數據集，模型需要配備不同的大小和不同數量的RF。
貢獻：
爲了避免這些複雜和消耗資源的搜索工作，我們提出了全尺度塊(OS-block)，通過一個簡單而通用的規則，可以覆蓋所有尺度的RF ，自動設置1D-CNNs的內核選擇。
該規則的靈感來自哥德巴赫猜想，在哥德巴赫猜想中，任何正偶數都可以寫成兩個素數的和。因此, OS-block使用一組質數作爲內核大小，除了最後一層的內核大小是1和2。
這樣一來，一個具有這些質數大小核的1D-CNN可以通過這些質數大小核的不同組合對TS進行變換，從而覆蓋所有尺度的RF。更重要的是, OS-block通過根據TS的長度選擇最大素數來實現對各種TS數據集的處理。
2 FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes (ICLR 2022)
動機
在設計卷積神經網絡(Convolutional Neural Networks, CNNs)時，必須在訓練前選擇卷積核的大小。最近的工作表明，cnn受益於不同層的不同內核大小，但探索所有可能的組合在實踐中是不可行的。更有效的方法是在訓練期間學習內核大小。然而，現有的瞭解內核大小的工作有一個有限的帶寬。這些方法通過膨脹來縮放核，因此它們所能捕捉的細節是有限的。
貢獻
在這項工作中，我們提出了一種新的卷積運算FlexConv，它可以在固定的參數代價下學習核大小可學習的高帶寬卷積核。FlexNets無需使用池化就能實現長期依賴關係建模，在多個序列數據集上實現了最先進的性能，在學習了內核大小的情況下超過了最近的工作，並在圖像基準數據集上與深度更大的ResNets具備同等競爭力。
此外, FlexNets的部署分辨率可以比在訓練中看到的更高。爲了避免混疊，我們提出了一種新的核參數化方法，用它可以解析地控制核的頻率。我們的新核參數化方法比現有的參數化方法具有更高的描述能力和更快的收斂速度。
3 CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting (ICLR 2022)
動機
深度學習在時間序列預測方面已經得到了積極的研究，主流的範式是基於神經網絡體系結構的端到端訓練，從經典的LSTM/ RNNs到最新的TCNs和Transforms。
出於近期表示學習在計算機視覺和自然語言處理中的成功應用,我們認爲時間序列預測更有前途的範式,是先學習特性表徵,緊隨其後的是一個簡單的迴歸微調步驟——我們因果關係的角度證明了這種範式。
貢獻
我們提出了一種新的長序列時間序列表示學習框架CoST，該框架採用對比學習方法學習解糾纏(disentangled) 的季節趨勢表示。 CoST包括時域和頻域的對比損失，分別用來學習判別趨勢和季節表徵。在真實數據集上的大量實驗表明，CoST始終在相當大的範圍內優於最先進的方法，在多元基準測試中實現了21.3%的MSE改進。
4 Iterative Bilinear Temporal-Spectral Fusion for Unsupervised Representation Learning in Time Series (ICML 2022)
代碼：暫無。
動機
多元時間序列的無監督表示學習具有重要的現實意義，但由於其動態過程的複雜性和註解的稀疏性，也是一個具有挑戰性的問題。現有的研究主要採用對比學習的框架，利用數據增強技術對句式和否定句進行對比訓練。然而，他們對錶徵學習框架的設計存在兩個缺陷。
首先，我們回顧了已有的時間序列增廣方法，發現它們大多使用由時間切片衍生的分段級增廣方法，這種方法可能會由於失去全局上下文而導致抽樣偏差和錯誤的優化和假陰性。二是它們都不重視在特徵表示中納入頻域信息和時間-頻域關係。
貢獻
在本文中，我們提出一個統一的框架，即雙線性時間譜融合(BTSF)。具體來說，我們首先利用實例級擴展，在整個時間序列上進行簡單的dropout，以最大限度地捕獲長期依賴項。我們設計了一種新穎的迭代雙線性時間譜融合方法來顯式編碼豐富的時頻對的親和力，並以融合擠壓的方式迭代地細化表示S2T (Spectrum-to-Time)和Time-to-Spectrum(t2)聚合模塊。
5 Towards Similarity-Aware Time-Series Classification (SDM 2022)
動機
時間序列分類（TSC）之前的工作主要從兩個方向來解決TSC:(1)基於相似性的方法，基於最近鄰居對時間序列進行分類，(2)深度學習模型，直接學習數據驅動方式的分類表示。
在這兩條研究線的不同工作機制的推動下，我們的目標是將它們聯繫起來，共同建模時間序列相似性並學習表徵。這是一項具有挑戰性的任務，因爲我們不清楚如何有效地利用相似性信息。
貢獻
時間序列分類（TSC）之前的工作主要從兩個方向來解決TSC:(1)基於相似性的方法，基於最近鄰居對時間序列進行分類，(2)深度學習模型，直接學習數據驅動方式的分類表示。
在這兩條研究線的不同工作機制的推動下，我們的目標是將它們聯繫起來，共同建模時間序列相似性並學習表徵。這是一項具有挑戰性的任務，因爲我們不清楚如何有效地利用相似性信息。