神經(jīng)網(wǎng)絡(luò)可以在很多任務(wù)上有超越人類的表現(xiàn)，但如果你要求一個 AI 系統(tǒng)吸收新的記憶，它們可能會瞬間忘記之前所學的內(nèi)容?，F(xiàn)在，一項新的研究揭示了神經(jīng)網(wǎng)絡(luò)經(jīng)歷睡眠階段并幫助預防這種健忘癥的新方法。

人工神經(jīng)網(wǎng)絡(luò)面臨的一個主要挑戰(zhàn)是「災(zāi)難性遺忘」（catastrophic forgetting）。當它們?nèi)W習一項新任務(wù)時，就有一種不幸的傾向，即突然完全忘記他們以前學到的東西。

本質(zhì)上，神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)的表示是對原始數(shù)據(jù)的一種面向任務(wù)的數(shù)據(jù)「壓縮」，新學到的知識會覆蓋過去的數(shù)據(jù)。

這是當前技術(shù)相比人類神經(jīng)網(wǎng)絡(luò)的最大缺陷之一：相比之下，人腦能夠終身學習新任務(wù)，而不會影響其執(zhí)行先前記憶的任務(wù)的能力。我們并不完全知曉其中原因，但早有研究表明，當學習輪次穿插在睡眠期間時，人腦的學習效果最好。睡眠顯然有助于將最近的經(jīng)歷納入長期記憶庫。

「重組記憶實際上可能是生物體需要經(jīng)歷睡眠階段的主要原因之一，」加州大學圣地亞哥分校計算神經(jīng)科學家 Erik Delanois 說道。

AI 能不能也學會去睡覺？此前的一些研究試圖通過讓 AI 模擬睡眠來解決災(zāi)難性遺忘。例如，當神經(jīng)網(wǎng)絡(luò)學習一項新任務(wù)時，一種稱為交錯訓練（interleaved training）的策略會同時向機器提供它們之前學習過的舊數(shù)據(jù)，以幫助它們保留過去的知識。這種方法以前被認為是模仿大腦在睡眠期間的工作方式——不斷重播舊的記憶。

然而，科學家們曾假設(shè)交錯訓練需要在神經(jīng)網(wǎng)絡(luò)每次想要學習新事物時，為其提供最初用于學習舊技能的所有數(shù)據(jù)。這不僅需要大量的時間和數(shù)據(jù)，而且看起來也不是生物大腦在真正的睡眠中所做的事情——生物既沒有能力保留學習舊任務(wù)所需的所有數(shù)據(jù)，睡覺時也沒有時間重播所有這些內(nèi)容。

在一項新研究中，研究人員分析了災(zāi)難性遺忘背后的機制以及睡眠對于預防問題的效果。研究人員沒有使用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，而是使用了一種更接近人類大腦的「脈沖神經(jīng)網(wǎng)絡(luò)」。

在人工神經(jīng)網(wǎng)絡(luò)中，被稱為神經(jīng)元的組件被填喂數(shù)據(jù)并共同解決一個問題，例如識別人臉。神經(jīng)網(wǎng)絡(luò)反復調(diào)整突觸——它的神經(jīng)元之間的聯(lián)系——并查看由此產(chǎn)生的行為模式是否能更好地找到解決方案。隨著時間的推移（不斷訓練），網(wǎng)絡(luò)會發(fā)現(xiàn)哪些模式最適合計算正確結(jié)果。最后它采用這些模式作為默認模式，這被認為是部分模仿了人腦的學習過程。

這張圖代表了抽象突觸空間中的記憶及其在睡眠和不睡眠時的演化。

在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元的輸出隨著輸入的變化而不斷變化。相比之下，在脈沖神經(jīng)網(wǎng)絡(luò)（SNN）中，一個神經(jīng)元只有在給定數(shù)量的輸入信號后，才會產(chǎn)生輸出信號，這一過程是對真正生物神經(jīng)元行為的真實再現(xiàn)。由于脈沖神經(jīng)網(wǎng)絡(luò)很少發(fā)射脈沖，因此它們比典型的人工神經(jīng)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)更少，原則上也需要更少的電力和通信帶寬。

正如預期的那樣，脈沖神經(jīng)網(wǎng)絡(luò)具有這樣一個特點：在初始學習過程中會出現(xiàn)災(zāi)難性遺忘，然而，在之后的幾輪學習后，經(jīng)過一段時間間隔，參與學習第一個任務(wù)的神經(jīng)元集合被重新激活。這更接近神經(jīng)科學家目前認為的睡眠過程。

簡單來說就是：SNN 使得之前學習過的記憶痕跡能夠在離線處理睡眠期間自動重新激活，并在不受干擾的情況下修改突觸權(quán)重。

該研究使用帶有強化學習的多層 SNN 來探索將新任務(wù)訓練周期與類睡眠自主活動周期交錯，是否可以避免災(zāi)難性遺忘。值得注意的是，該研究表明，可以通過周期性地中斷新任務(wù)中的強化學習（類似睡眠階段的新任務(wù)）來預防災(zāi)難性遺忘。

圖 1A 顯示了一個前饋脈沖神經(jīng)網(wǎng)絡(luò)，用于模擬信號從輸入到輸出。位于輸入層 (I) 和隱藏層 (H) 之間的神經(jīng)元接受無監(jiān)督學習 (使用非獎勵 STDP)，H 層和輸出(O) 層之間的神經(jīng)元則接受強化學習(使用獎勵 STDP 實現(xiàn))。

無監(jiān)督學習允許隱藏層神經(jīng)元學習來自輸入層不同空間位置的不同粒子（particle）模式，而獎勵 STDP 使輸出層神經(jīng)元學習基于輸入層檢測到的粒子模式類型的運動決策。

研究人員對網(wǎng)絡(luò)進行了兩項互補的訓練。在任一任務(wù)中，網(wǎng)絡(luò)都學會了區(qū)分獎勵和懲罰的粒子模式，目標是獲得盡可能多的獎勵。任務(wù)將模式可辨性（消耗的獎勵與懲罰粒子的比率）視為性能的衡量標準，機會為 0.5。所有報告的結(jié)果都基于至少 10 次具有不同隨機網(wǎng)絡(luò)初始化的試驗。

為了揭示訓練和睡眠期間的突觸權(quán)重動態(tài)，研究人員接下來追蹤「任務(wù)相關(guān)」的突觸，即在特定任務(wù)訓練后在分布的前 10% 中識別的突觸。首先訓練任務(wù) 1，然后訓練任務(wù) 2，在每次任務(wù)訓練后識別任務(wù)相關(guān)突觸。接下來再次繼續(xù)訓練任務(wù) 1，但將其與睡眠時間交織在一起（交錯訓練）：T1→T2→InterleavedS,T1。任務(wù) 1 - 任務(wù) 2 的順序訓練導致忘記了任務(wù) 1，但是在 InterleavedS 之后，任務(wù) 1 被重新學習，而任務(wù) 2 也被保留（圖 4A 和 4B）。

重要的是，該策略允許我們比較 InterleavedS,T1 訓練后的突觸權(quán)重與單獨任務(wù) 1 和任務(wù) 2 訓練后被識別為任務(wù)相關(guān)的突觸權(quán)重（圖 4C）。任務(wù) 1 訓練后形成的任務(wù) 1 相關(guān)突觸的分布結(jié)構(gòu)（圖 4C；左上）在任務(wù) 2 訓練（中上）后被破壞，但在 InterleavedS、T1 訓練（右上）后部分恢復。任務(wù) 2 訓練（中下）后任務(wù) 2 相關(guān)突觸的分布結(jié)構(gòu)在任務(wù) 1 訓練（左下）后不存在，并且在 InterleavedS、T1 訓練（右下）后部分保留。

應(yīng)該注意的是，這種定性模式可以在單個試驗中清楚地觀察到（圖 4C；藍色條），也可以在試驗中推廣（圖 4C；橙線）。因此，睡眠可以在合并新突觸的同時保留重要的突觸。

圖 4. 新任務(wù)訓練與睡眠的交錯期允許整合與新任務(wù)相關(guān)的突觸信息，同時保留舊任務(wù)信息。

「有趣的是，我們沒有明確存儲與早期記憶相關(guān)的數(shù)據(jù)，以便在睡眠期間人為地重放它們，以防止遺忘，」該研究的合著者、捷克科學院計算機科學研究所的計算神經(jīng)科學家 Pavel Sanda 說道。

人們發(fā)現(xiàn)，新的策略有助于防止災(zāi)難性遺忘。脈沖神經(jīng)網(wǎng)絡(luò)在經(jīng)歷類似睡眠的階段后能夠執(zhí)行這兩項任務(wù)，研究人員認為他們的策略有助于保留與新舊任務(wù)相關(guān)的突觸模式。

「我們的工作展現(xiàn)了開發(fā)受生物學啟發(fā)的解決方案的實用性，」Delanois 說道。

研究人員指出，他們的發(fā)現(xiàn)不僅限于脈沖神經(jīng)網(wǎng)絡(luò)。Sanda 表示，即將開展的工作表明，類似睡眠的階段可以幫助「克服標準人工神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘」。

該研究于 11 月 18 日發(fā)表在《PLOS Computational Biology》雜志上。

論文：《Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation》

論文地址：??https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1010628?