頻域Mask實現只需正樣本的時間序列表示學習
今天給大家介紹一篇時間序列表示學習的文章，這篇文章提出了一種和對比學習不同的表示學習方法，無需顯示構造負樣本，避免了偽負樣本影響對比學習效果的問題。
論文標題：Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
下載地址：??https://arxiv.org/pdf/2412.20790v1??
1.研究背景?
表示學習可用來將原始數據轉換成向量，用于后續(xù)的深度學習任務?，F有的表示學習基本都采用對比學習的方法進行建模，對于一個樣本使用不同的變換生成其增強樣本作為正樣本對，同時使用隨機負采樣的其他樣本作為負樣本對，拉近正樣本對距離，推遠負樣本對距離，實現表征的學習。然而，在時間序列數據中，由于其連續(xù)性，正負樣本的界定并不像圖像等數據形式那么明顯，經常會出現偽負樣本的問題，影響了表示學習的效果。
為了解決上述問題，本文提出了一種完全基于正樣本的表示學習方法，和BYOL的建模思路非常像，無需顯示構造負樣本，產出的表征應用到下游分類、回歸等任務都取得了比較好的效果。
2.建模方法
文中的整體建模過程如下圖所示。對于一個原始序列，使用頻域隨機mask的方式生成一個其可以視為正樣本的增強樣本。這兩個樣本都使用Encoder+MLP進行表征生成。然后使用原始序列的embedding去預測被mask后序列的embedding，實現表示學習embedding的訓練過程。下面展開介紹模型中的各個模塊，包括Encoder、Masking Block、優(yōu)化目標3個部分。
Encoder：Encoder可以使用各種類型的模型，整體包括2個Encoder，一個Encoder用來對原始時間序列映射成表征，另一個Encoder用來對經過Mask后的原始序列映射成表征。由于整體只有正樣本，為了避免表征坍縮，對于另一個Encoder使用Momentum Encoder的方式，衰減累加主Encoder的參數，讓兩個Encoder參數不一樣，以免表征都學到一個點上。
Mask Block：Mask Block部分用來對原始的時間序列在頻域做mask，生成一個可以視為和原始序列互為正樣本的序列。首先將原始的時間序列映射到頻域，然后隨機mask掉一部分主成分。這里面mask的比例是一個均勻分布，每次樣本mask的比例不同。Mask后的序列再映射回時域得到正樣本（文中叫做Target Series）。為了讓mask部分可學習，文中使用了一個mask生成網絡，去生成每個頻率成分是否mask。
優(yōu)化目標：上述模型的優(yōu)化目標包括2個部分。一方面，使用原始序列的表征以及mask結果去預測target series的表征；另一方面使用原始序列表征和target series表征預測mask的結果。公式如下，其中D是stop gradient，讓模型在梯度傳播的時候專注于對應表征的學習。
3.實驗效果
在實驗部分，作者在分類任務、回歸任務上驗證了上述表示學習的效果。文中提出的方法相比其他的包括TS2Vec、TimeDRL等都有顯著的提升。
