如何改良基于Basis的時(shí)間序列預(yù)測(cè)模型？
今天介紹一篇NIPS 2023中上海交大和螞蟻集團(tuán)聯(lián)合發(fā)表的時(shí)間序列預(yù)測(cè)文章，基于basis的時(shí)間序列建模。目前代碼已經(jīng)開源，論文的詳細(xì)信息如下。
論文標(biāo)題：BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis
下載地址：??https://arxiv.org/pdf/2310.20496v1.pdf??
機(jī)構(gòu)：上海交大
開源代碼：??https://github.com/nzl5116190/Basisformer??
1.基于Basis的時(shí)序預(yù)測(cè)
在時(shí)序預(yù)測(cè)中，basis指的是從時(shí)間序列數(shù)據(jù)集中，抽取出數(shù)量較少的、整個(gè)數(shù)據(jù)集時(shí)間序列都遵循的一些子序列，數(shù)據(jù)集中每個(gè)時(shí)間序列，都可以通過這些basis的加權(quán)還原出來。這種方法，最早出現(xiàn)在基于矩陣分解的時(shí)間序列建模中，將時(shí)間序列分解成basis和權(quán)重乘積的形式。比如原來的時(shí)間序列維度是M*T，那么會(huì)分解成M*a、a*T兩個(gè)矩陣。第一個(gè)矩陣代表每個(gè)時(shí)間序列在每個(gè)basis上的權(quán)重，第二個(gè)矩陣代表各個(gè)basis序列。后續(xù)的Nbeats等方式也是基于這類方法。
然而，之前這類基于basis的方法存在的問題是，對(duì)于basis的學(xué)習(xí)過濾簡(jiǎn)單，或者根本就不學(xué)習(xí)basis，而是直接生成相應(yīng)的basis系數(shù)。這導(dǎo)致basis可能無法反映數(shù)據(jù)集中全部時(shí)間序列的共性信息。為了解決這個(gè)問題，上海交大的這篇文章提出一種基于對(duì)比學(xué)習(xí)預(yù)訓(xùn)練的basis生成方法。
2.核心結(jié)構(gòu)
本文提出的BasisFormer模型的核心包含以下3個(gè)組件：
Coef Module：對(duì)于每個(gè)序列生成各個(gè)basis權(quán)重
Basis Module：生成basis
Forecast Module：生成預(yù)測(cè)結(jié)果
下面分別介紹一下這些模塊的實(shí)現(xiàn)邏輯。
Coef Module：這部分是計(jì)算時(shí)間序列和basis之間的相關(guān)性系數(shù)，用來對(duì)basis進(jìn)行融合。整體采用的是基于multi-head attention的計(jì)算方法，對(duì)于每個(gè)時(shí)間序列，計(jì)算其和各個(gè)basis之間的attention，得到attention score。每個(gè)head會(huì)計(jì)算不同的attention score，這個(gè)attention score代表時(shí)間序列和各個(gè)basis之間的相關(guān)系數(shù)，用來對(duì)basis進(jìn)行加權(quán)融合。
Forecast Module：將各個(gè)head的權(quán)重系數(shù)和basis進(jìn)行加權(quán)求和，得到每個(gè)head的初始預(yù)測(cè)結(jié)果。將這些結(jié)果拼接到一起后，輸入一個(gè)多層MLP網(wǎng)絡(luò)，得到最終的預(yù)測(cè)結(jié)果。
Basis Module：這個(gè)模塊是本文的核心，如何學(xué)習(xí)一組良好的basis向量。這里的一個(gè)核心假設(shè)是，希望每個(gè)時(shí)間序列的basis融合權(quán)重，是隨著時(shí)間固定不變的，歷史的權(quán)重和未來待預(yù)測(cè)區(qū)間的權(quán)重是一致的，這樣才能實(shí)現(xiàn)基于basis的預(yù)測(cè)。為了達(dá)成這個(gè)目標(biāo)，文中采用對(duì)比學(xué)習(xí)的方式進(jìn)行basis的學(xué)習(xí)。具體方法為，對(duì)于一個(gè)時(shí)間序列，將其歷史已知部分和未來待預(yù)測(cè)部分，分別輸入到Coef Module中，得到每個(gè)序列的basis權(quán)重，然后通過對(duì)比學(xué)習(xí)讓同一個(gè)時(shí)間序列的歷史序列權(quán)重和未來序列權(quán)重相近，隨機(jī)負(fù)采樣的權(quán)重拉遠(yuǎn)。在這個(gè)過程中，同步訓(xùn)練basis，讓basis盡可能滿足能夠產(chǎn)生歷史和未來相一致的權(quán)重向量。
這種basis的約束，在之前的工作中是沒有引入的，但是其非常重要，決定了basis的有效性。之前看basis的工作，其實(shí)就有過類似的疑問，完全沒有約束的情況下，歷史的權(quán)重是否能泛華到未來的權(quán)重。這篇文章比較好的解決了這個(gè)問題。
3.實(shí)驗(yàn)效果
本文的實(shí)現(xiàn)效果如下表所示，對(duì)比了多元時(shí)間序列6個(gè)數(shù)據(jù)集、單變量時(shí)間序列6個(gè)數(shù)據(jù)集中，不同預(yù)測(cè)長度的效果差異，Basisformer在多個(gè)數(shù)據(jù)集上取得了效果提升。
