本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

近期，新加坡國(guó)立大學(xué)、字節(jié)跳動(dòng)智能創(chuàng)作新加坡團(tuán)隊(duì)等機(jī)構(gòu)合作的一項(xiàng)技術(shù)成果被全球頂級(jí)學(xué)術(shù)期刊Nature的子刊Nature Neuroscience收錄。這項(xiàng)研究首次將人工智能領(lǐng)域的元學(xué)習(xí)方法引入到神經(jīng)科學(xué)及醫(yī)療領(lǐng)域，能在有限的醫(yī)療數(shù)據(jù)上訓(xùn)練可靠的AI模型，提升基于腦成像的精準(zhǔn)醫(yī)療效果。

研究背景

腦成像技術(shù)是神經(jīng)科學(xué)發(fā)展的一個(gè)重要領(lǐng)域，能夠直接觀(guān)察大腦在信息處理和應(yīng)對(duì)刺激時(shí)的神經(jīng)化學(xué)變化、從而對(duì)疾病的診斷和治療提供重要參照。理論上，基于腦成像的機(jī)器學(xué)習(xí)模型可應(yīng)用于預(yù)測(cè)個(gè)人(individual)的一些非腦成像(non-brain-imaging)的表征特性(phenotypes) ，例如，流動(dòng)智力 (fluid intelligence)、臨床結(jié)果（clinical outcomes）等，從而促進(jìn)針對(duì)個(gè)人的精準(zhǔn)醫(yī)療( precision medicine)。

一個(gè)現(xiàn)實(shí)的問(wèn)題在于，雖然現(xiàn)在已經(jīng)有英國(guó)生物銀行（UK Biobank）這樣的大規(guī)模人類(lèi)神經(jīng)科學(xué)數(shù)據(jù)集，在研究臨床人群或解決重點(diǎn)神經(jīng)科學(xué)的問(wèn)題時(shí)，幾十到上百人的小規(guī)模數(shù)據(jù)樣本依舊是常態(tài)。在精確標(biāo)注的醫(yī)療數(shù)據(jù)量有限的情況下，很難訓(xùn)練出一個(gè)可靠的機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)個(gè)人表征特性。

論文提出一個(gè)新的思路來(lái)解決這一數(shù)據(jù)匱乏所帶來(lái)的根本限制：在給定一個(gè)大規(guī)模（N>10,000）的帶有多種表征特性標(biāo)注的腦成像數(shù)據(jù)集，可以將在該數(shù)據(jù)集上訓(xùn)練的機(jī)器學(xué)習(xí)模型遷移到一個(gè)獨(dú)立的小規(guī)模（N<200)的帶有新的表征特性的數(shù)據(jù)集上，從而使得在新的數(shù)據(jù)集上訓(xùn)練的模型能夠準(zhǔn)確預(yù)測(cè)新的表征特性。

方法

研究者通過(guò)對(duì)先前的小樣本數(shù)據(jù)分析發(fā)現(xiàn)，個(gè)體的認(rèn)知、心理健康、人口統(tǒng)計(jì)學(xué)和其他健康屬性等表征特性與大腦成像數(shù)據(jù)之間存在一種內(nèi)在的相關(guān)性。這意味著，小數(shù)據(jù)集當(dāng)中的某些獨(dú)特表型可能與大規(guī)模數(shù)據(jù)集當(dāng)中的某些預(yù)先存在的特定表型相關(guān)，利用這種相關(guān)性，研究者提出了一個(gè)新的基于元學(xué)習(xí)的元匹配方法建立了一種框架機(jī)制，可利用大規(guī)模腦成像數(shù)據(jù)集來(lái)促進(jìn)對(duì)小數(shù)據(jù)集當(dāng)中一些全新的、未知的表型的預(yù)測(cè)，從而訓(xùn)練出可靠的用于表征特性預(yù)測(cè)的機(jī)器學(xué)習(xí)模型。

論文提出了一種新的元匹配（meta-matching）方法，來(lái)解決小規(guī)模數(shù)據(jù)集上的表征特性預(yù)測(cè)模型的訓(xùn)練問(wèn)題。元匹配是一種高度靈活的學(xué)習(xí)框架，可以用于各種不同的機(jī)器學(xué)習(xí)方法。論文主要研究了將元匹配方法應(yīng)用于核嶺回歸（kernel ridge regression, KRR)以及全連接的深度神經(jīng)網(wǎng)絡(luò)(DNN).

在元匹配的學(xué)習(xí)框架中，大規(guī)模的訓(xùn)練數(shù)據(jù)被分為元訓(xùn)練集 (training meta-set) 以及元測(cè)試集 (testing meta-set)。這兩個(gè)數(shù)據(jù)集包含不同的個(gè)體和表征特性標(biāo)注。元訓(xùn)練集被用來(lái)訓(xùn)練DNN預(yù)測(cè)模型，而元測(cè)試集則用來(lái)評(píng)估當(dāng)前DNN模型在新的表征特性上的預(yù)測(cè)準(zhǔn)確率（也即泛化性能）。特別的，隨機(jī)挑選的K個(gè)（K<5）個(gè)體數(shù)據(jù)被選作測(cè)試樣本。而在元測(cè)試集上表現(xiàn)最好的一個(gè)DNN輸出節(jié)點(diǎn)(output node)將被保留，而其他節(jié)點(diǎn)被移除。之后在該K個(gè)測(cè)試個(gè)體數(shù)據(jù)，微調(diào)（fine-tune)該保留的節(jié)點(diǎn)以及DNN模型之前與該節(jié)點(diǎn)相連的隱藏層參數(shù)。注意與一般的元學(xué)習(xí)或者微調(diào)策略不同的是，這里只微調(diào)DNN模型中的一個(gè)子網(wǎng)絡(luò)，而不是微調(diào)整個(gè)模型參數(shù)。該過(guò)程將被重復(fù)M次，直到DNN模型在元測(cè)試集上預(yù)測(cè)穩(wěn)定為止。

在完成上述的元訓(xùn)練過(guò)程以后，得到的DNN模型已具有了較強(qiáng)的在新的預(yù)測(cè)任務(wù)上的泛化能力。該模型可以直接遷移到新的表征特性數(shù)據(jù)集上，用少量的標(biāo)注樣本進(jìn)行訓(xùn)練，即可有較好的預(yù)測(cè)性能。

實(shí)驗(yàn)設(shè)置

論文在英國(guó)生物銀行（UK Biobank）和人類(lèi)連接組計(jì)劃（Human Connectome Project）數(shù)據(jù)集上進(jìn)行了測(cè)評(píng)。所有數(shù)據(jù)的使用均已經(jīng)過(guò)了相關(guān)研究部門(mén)批準(zhǔn)。其中 UK Biobank 包含36,848名參與者的結(jié)構(gòu)MRI以及靜息fMRI腦成像數(shù)據(jù)，以及被篩選出的67個(gè)非腦成像的表征特性。而HCP包含 1,019 名參與者的結(jié)構(gòu)MRI以及靜息fMRI數(shù)據(jù)，以及被篩選出的58個(gè)表征特性。所篩選的表征特性涵蓋了意識(shí)（cognition）、情緒（emotion）以及個(gè)人特質(zhì)（personality）。

UK Biobank數(shù)據(jù)集被用作訓(xùn)練集，用于使用元匹配來(lái)訓(xùn)練預(yù)測(cè)模型。其被隨機(jī)分為元訓(xùn)練集（26,848名參與者，33個(gè)表征特性）以及元測(cè)試集（10,000名參與者，34個(gè)表征特性）。而HCP數(shù)據(jù)集則被用作測(cè)試集、測(cè)試預(yù)測(cè)模型在新的表征特性上的預(yù)測(cè)準(zhǔn)確率。其被隨機(jī)分為K個(gè)參與者用于訓(xùn)練以及(1,019-K)個(gè)參與者用來(lái)測(cè)試。其中K取值為19,20,50,100和200.

△ 圖. HCP表?yè)?jù)集表形特性示例

實(shí)驗(yàn)結(jié)論

上述方法已經(jīng)在英國(guó)生物銀行（UK Biobank）的 36,848 名參與者和來(lái)自人類(lèi)連接組計(jì)劃（Human Connectome Project）的 1,019 名參與者的樣本評(píng)估中顯示出有效性。

在BioBank測(cè)試集上性能超過(guò)經(jīng)典的核嶺回歸（KRR）

下圖展示了在UK Biobank元測(cè)試集 基于Pearson’s相關(guān)系數(shù)的準(zhǔn)確性比較。在所有的樣本數(shù)量設(shè)置上（K值），所提出的元匹配方法在34個(gè)表征特性準(zhǔn)確率大幅超過(guò)經(jīng)典的KRR方法 （偽發(fā)現(xiàn)率FDR q<0.05). 例如在fMRI研究中常見(jiàn)的樣本數(shù)量K=20 (20-shot)，基本的DNN meta-matching 方法準(zhǔn)確率超過(guò)KRR 100% (0.124 vs. 0.052). 而如果采用coefficient of determinant (COD)作為性能指標(biāo)，DNN meta-matching方法則超過(guò)KRR 400% .

在HCP小規(guī)模新數(shù)據(jù)集上顯著超過(guò)KRR

為了測(cè)試元匹配在全新的測(cè)試集上的表現(xiàn)，論文進(jìn)一步測(cè)試了其在HCP數(shù)據(jù)集上的性能。發(fā)現(xiàn)同樣的，所提出的元匹配方法準(zhǔn)確率大幅超過(guò)經(jīng)典的KRR方法。例如在K=20時(shí)，元匹配方法準(zhǔn)確率超過(guò)KRR 100% (0.123 vs. 0.047). 而在K=100時(shí)，以COD為指標(biāo)，元匹配方法準(zhǔn)確率超過(guò)KRR 800%.

討論與總結(jié)

考慮到所提出的元匹配方法是利用表征特性之間的相關(guān)性來(lái)輔助預(yù)測(cè)，其背后的預(yù)測(cè)機(jī)制有可能是非因果的。然后該研究的主要目標(biāo)是提高預(yù)測(cè)準(zhǔn)確率，并且即使是非因果預(yù)測(cè)，所得到的預(yù)測(cè)模型也有很多的應(yīng)用場(chǎng)景。例如，抗抑郁藥物至少要4周以上才會(huì)起效，而少于50%的病人會(huì)對(duì)第一次給藥反應(yīng)良好。因此，即使是非因果的預(yù)測(cè)，提高表征特性的預(yù)測(cè)能力在臨床上仍具有巨大價(jià)值。

論文所提出的元匹配方法，是基于機(jī)器學(xué)習(xí)領(lǐng)域中的元學(xué)習(xí)，多任務(wù)學(xué)習(xí)以及遷移學(xué)習(xí)等。例如在DNN模型上先訓(xùn)練再微調(diào)可認(rèn)為是遷移學(xué)習(xí)的一種形式。但是，值得注意的是，實(shí)驗(yàn)表明最大的準(zhǔn)確率提升是來(lái)自于論文提出的核心算法—元匹配。當(dāng)然，更先進(jìn)的機(jī)器學(xué)習(xí)算法有希望在這個(gè)方向上帶來(lái)更大的預(yù)測(cè)準(zhǔn)確率的提升。

雖然最初的腦成像數(shù)據(jù)集來(lái)自于年輕健康的成年人，現(xiàn)在有越來(lái)越多的數(shù)據(jù)集側(cè)重不同的人群，例如老年人、兒童、不同的疾病等。論文提出的方法在將來(lái)也可以用于其他人群數(shù)據(jù)集的表征特性預(yù)測(cè)，例如最近的ABCD數(shù)據(jù)集包含了精神健康癥狀。

字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)是字節(jié)跳動(dòng)音視頻創(chuàng)新技術(shù)和業(yè)務(wù)中臺(tái)，覆蓋了機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、圖形學(xué)、語(yǔ)音、拍攝編輯、特效、客戶(hù)端、服務(wù)端工程等技術(shù)領(lǐng)域，在部門(mén)內(nèi)部實(shí)現(xiàn)了前沿算法—工程系統(tǒng)—產(chǎn)品全鏈路的閉環(huán)，旨在以多種形式向公司內(nèi)部各業(yè)務(wù)線(xiàn)以及外部合作客戶(hù)提供業(yè)界前沿的內(nèi)容理解、內(nèi)容創(chuàng)作、互動(dòng)體驗(yàn)與消費(fèi)的能力和行業(yè)解決方案。

智能創(chuàng)作基礎(chǔ)研究團(tuán)隊(duì)旨在探索前沿機(jī)器學(xué)習(xí)以及計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理技術(shù)，解決人工智能領(lǐng)域里的挑戰(zhàn)性問(wèn)題。

Nature Neuroscience是神經(jīng)生物學(xué)領(lǐng)域最頂級(jí)的刊物之一，該雜志發(fā)表的論文涉及神經(jīng)科學(xué)的各個(gè)領(lǐng)域，包括分子、細(xì)胞、系統(tǒng)、行為、認(rèn)知和計(jì)算研究。