今天給大家介紹一篇不規(guī)則時間序列建模的工作。本文的核心是研究不規(guī)則時序預測中的變量間關系建模問題，研究焦點是如何在保持計算效率的同時，有效地捕捉長期依賴性和復雜變量間關系。研究者們提出了一個新穎的框架，通過結合局部的通道依賴（CD）策略和全局的通道獨立（CI）策略，顯著提升了模型在多個真實世界數(shù)據(jù)集上的性能。

論文標題：TimeCHEAT: A Channel Harmony Strategy for Irregularly Sampled Multivariate Time Series Analysis

下載地址：??https://arxiv.org/pdf/2412.12886v1??

1.研究背景

非均勻采樣多變量時間序列（ISMTS）在現(xiàn)實世界中非常普遍，例如醫(yī)療保健、氣象和交通等領域。這些數(shù)據(jù)由于傳感器故障、傳輸失真、成本削減策略等原因，采樣間隔不相同。而現(xiàn)在的大多數(shù)深度學習方法，都只能處理采樣間隔相同的時間序列，導致這類ISMTS問題建模困難?，F(xiàn)有方法主要分為對原始不規(guī)則數(shù)據(jù)進行插補以轉換成規(guī)則序列，或者采用端到端建模方法，但沒有充分考慮不同變量之間的關系信息。本文針對該問題，提出了一種channel dependent和channel Independent相結合的建模方法，實現(xiàn)不規(guī)則時間序列變量間關系的刻畫。

2.建模方法?

TimeCHEAT的核心，一方面是在每個patch內部采用channel dependent建模策略，通過二部圖的學習建模內部各個變量和各個時間戳的關系，充分捕捉patch內的變量間關系。另一方面，對于不同patch之間，使用channel independent策略，用一個全局Transformer專注于建模時間維度間的關系。

首先，對不規(guī)則時間序列按照等窗口長度、不重疊的分割成多個patch。每個patch內部，包括多個變量在不同時間步的取值。為了充分刻畫這種不規(guī)則的變量、時間步對應關系，以及各個變量之間的關系，文中采用二部圖進行建模。二部圖指的是由2種類型的點構成，且每條邊都連接了兩種類型節(jié)點的圖。這個二部圖中，第一種類型的節(jié)點是channel，第二種類型的節(jié)點是時間步。根據(jù)觀測的信號將每個節(jié)點和每個時間步相連。為了將不規(guī)則序列轉換成規(guī)則的，再加一個等時間間隔的虛擬子圖，用GNN建模圖學習，去預測每個channel和這個虛擬子圖各個時間步之間的關系，最后用這個關系圖生成每個patch的embedding。

接下來，在得到每個patch的表征后，再全局使用channel Independent建模，專注于學習序列時間步之間的長周期關系，也避免學習長周期channel之間依賴關系帶來的過擬合等問題。這里直接將上一步的patch embedding輸入到Transformer中，通道獨立的進行建模，類似PatchTST的建模過程。

最后，Transformer的輸出作為不規(guī)則時間序列的表征。這個表征用于下游的分類、預測、填充等任務重。

3.實驗效果

本文基于TimeCHEAT模型，在分類、預測、填充等多個不規(guī)則時間序列預測任務中進行了效果對比，可以發(fā)現(xiàn)都取得了不錯的效果提升。

本文轉載自??圓圓的算法筆記??