首次全面復(fù)盤AI Agents記憶系統(tǒng)：3大類，6種操作！
記憶是AI系統(tǒng)的基本組成部分，尤其是對(duì)于基于LLMs的Agents。首次將記憶表示分為三類：參數(shù)化記憶、上下文結(jié)構(gòu)化記憶和上下文非結(jié)構(gòu)化記憶，并介紹了六種基本的記憶操作：鞏固、更新、索引、遺忘、檢索和壓縮。盤點(diǎn)了幾十種記憶框架、產(chǎn)品、應(yīng)用！
通過將這些操作系統(tǒng)地映射到長(zhǎng)期記憶、長(zhǎng)上下文記憶、參數(shù)修改和多源記憶等最相關(guān)的研究主題中，從原子操作和表示類型的視角重新審視記憶系統(tǒng)，為AI中與記憶相關(guān)的研究、基準(zhǔn)數(shù)據(jù)集和工具提供了一個(gè)結(jié)構(gòu)化和動(dòng)態(tài)的視角。
一、記憶的分類體系
詳細(xì)介紹了AI系統(tǒng)中記憶的分類體系，將記憶分為三種主要類型：參數(shù)化記憶（Parametric Memory）、上下文結(jié)構(gòu)化記憶（Contextual Structured Memory）和上下文非結(jié)構(gòu)化記憶（Contextual Unstructured Memory）。以下是該部分的內(nèi)容總結(jié)：
1.1 參數(shù)化記憶
- 定義：參數(shù)化記憶是指模型內(nèi)部參數(shù)中隱式存儲(chǔ)的知識(shí)。這些知識(shí)在預(yù)訓(xùn)練或后訓(xùn)練過程中獲得，并在推理時(shí)通過前饋計(jì)算訪問。
- 特點(diǎn)：
提供即時(shí)、長(zhǎng)期且持久的記憶，能夠快速檢索事實(shí)和常識(shí)知識(shí)。
缺乏透明性，難以根據(jù)新體驗(yàn)或特定任務(wù)上下文選擇性地更新。
- 應(yīng)用場(chǎng)景：適用于需要快速訪問固定知識(shí)的場(chǎng)景，例如問答系統(tǒng)和常識(shí)推理任務(wù)。
1.2 上下文非結(jié)構(gòu)化記憶
- 定義：上下文非結(jié)構(gòu)化記憶是一種顯式的、模態(tài)通用的記憶系統(tǒng)，用于存儲(chǔ)和檢索跨異構(gòu)輸入（如文本、圖像、音頻、視頻）的信息。
- 特點(diǎn)：
支持基于感知信號(hào)的推理，能夠整合多模態(tài)上下文。
根據(jù)時(shí)間范圍，進(jìn)一步分為短期記憶（如當(dāng)前對(duì)話會(huì)話上下文）和長(zhǎng)期記憶（如跨會(huì)話對(duì)話記錄和個(gè)人持久知識(shí)）。
- 應(yīng)用場(chǎng)景：適用于需要處理多模態(tài)輸入和動(dòng)態(tài)上下文的任務(wù)，例如多模態(tài)對(duì)話系統(tǒng)和視覺問答系統(tǒng)。
1.3 上下文結(jié)構(gòu)化記憶
- 定義：上下文結(jié)構(gòu)化記憶是指以預(yù)定義的、可解釋的格式或模式（如知識(shí)圖譜、關(guān)系表、本體論）組織的顯式記憶，這些記憶可以根據(jù)請(qǐng)求進(jìn)行查詢。
- 特點(diǎn)：
支持符號(hào)推理和精確查詢，通常與預(yù)訓(xùn)練語言模型的關(guān)聯(lián)能力相輔相成。
可以是短期的（在推理時(shí)構(gòu)建用于局部推理）或長(zhǎng)期的（跨會(huì)話存儲(chǔ)策劃知識(shí)）。
- 應(yīng)用場(chǎng)景：適用于需要精確知識(shí)檢索和推理的任務(wù)，例如知識(shí)圖譜問答和復(fù)雜事件推理任務(wù)。
二、記憶6種操作
詳細(xì)介紹了AI系統(tǒng)中記憶操作的分類和功能。這些操作被分為兩大類：記憶管理（Memory Management）和記憶利用（Memory Utilization）。
2.1 記憶管理
記憶管理涉及如何存儲(chǔ)、維護(hù)和修剪記憶，以支持記憶在與外部環(huán)境交互過程中的有效使用。記憶管理包括以下四種核心操作：
- Consolidation（鞏固）：
- 定義：將短期經(jīng)驗(yàn)轉(zhuǎn)化為持久記憶，例如將對(duì)話歷史編碼為模型參數(shù)、知識(shí)圖譜或知識(shí)庫。
- 功能：支持持續(xù)學(xué)習(xí)、個(gè)性化、外部記憶庫構(gòu)建和知識(shí)圖譜構(gòu)建。
- 應(yīng)用場(chǎng)景：在多輪對(duì)話系統(tǒng)中，將對(duì)話歷史整合到持久記憶中，以便在未來的對(duì)話中使用。
- Indexing（索引）：
- 定義：構(gòu)建輔助代碼（如實(shí)體、屬性或基于內(nèi)容的表示），以便高效檢索存儲(chǔ)的記憶。
- 功能：支持可擴(kuò)展的檢索，包括符號(hào)、神經(jīng)和混合記憶系統(tǒng)。
- 應(yīng)用場(chǎng)景：在大規(guī)模記憶庫中，通過索引快速定位和檢索相關(guān)信息。
- Updating（更新）：
- 定義：重新激活現(xiàn)有記憶表示并對(duì)其進(jìn)行臨時(shí)修改。
- 功能：支持持續(xù)適應(yīng)，同時(shí)保持記憶一致性。例如，通過定位和編輯機(jī)制修改模型參數(shù)，或通過總結(jié)、修剪或精煉來更新上下文記憶。
- 應(yīng)用場(chǎng)景：在對(duì)話系統(tǒng)中，根據(jù)用戶反饋動(dòng)態(tài)更新記憶內(nèi)容。
- Forgetting（遺忘）：
- 定義：有選擇性地抑制可能過時(shí)、無關(guān)或有害的記憶內(nèi)容。
- 功能：通過遺忘技術(shù)（如修改模型參數(shù)以擦除特定知識(shí)）或基于時(shí)間的刪除和語義過濾來丟棄不再相關(guān)的內(nèi)容。
- 應(yīng)用場(chǎng)景：在處理敏感信息時(shí)，確保隱私和安全，同時(shí)減少記憶干擾。
2.2 記憶利用
記憶利用涉及在推理過程中檢索和使用存儲(chǔ)的記憶，以支持下游任務(wù)（如響應(yīng)生成、視覺定位或意圖預(yù)測(cè)）。記憶利用包括以下兩種操作：
- Retrieval（檢索）：
- 定義：根據(jù)輸入識(shí)別并訪問相關(guān)記憶內(nèi)容。
- 功能：支持從多個(gè)來源（如多模態(tài)輸入、跨會(huì)話記憶）檢索信息。
- 應(yīng)用場(chǎng)景：在問答系統(tǒng)中，根據(jù)問題檢索相關(guān)的知識(shí)庫內(nèi)容；在多輪對(duì)話中，檢索與當(dāng)前對(duì)話相關(guān)的上下文信息。
- Compression（壓縮）：
- 定義：在保持關(guān)鍵信息的同時(shí)減少記憶大小，以便在有限的上下文窗口中高效使用。
- 功能：通過預(yù)輸入壓縮（如對(duì)長(zhǎng)上下文輸入進(jìn)行評(píng)分、過濾或總結(jié)）或后檢索壓縮（如在模型推理前對(duì)檢索到的內(nèi)容進(jìn)行壓縮）來優(yōu)化上下文使用。
- 應(yīng)用場(chǎng)景：在處理長(zhǎng)文本輸入時(shí)，通過壓縮減少計(jì)算負(fù)擔(dān)，同時(shí)保留關(guān)鍵信息。
三、從記憶操作到系統(tǒng)級(jí)主題
探討了如何將前面介紹的記憶操作（鞏固、索引、更新、遺忘、檢索、壓縮）應(yīng)用于實(shí)際的系統(tǒng)級(jí)研究主題。這些主題涵蓋了長(zhǎng)期記憶、長(zhǎng)上下文記憶、參數(shù)化記憶修改和多源記憶等多個(gè)方面。
3.1 長(zhǎng)期記憶
長(zhǎng)期記憶是指通過與環(huán)境的交互而持久存儲(chǔ)的信息，支持跨會(huì)話的復(fù)雜任務(wù)和個(gè)性化交互。
- 管理（Management）：
鞏固（Consolidation）：將短期記憶轉(zhuǎn)化為長(zhǎng)期記憶，例如通過對(duì)話歷史的總結(jié)或編碼。
索引（Indexing）：構(gòu)建記憶索引以支持高效檢索，例如通過知識(shí)圖譜或時(shí)間線索引。
更新（Updating）：根據(jù)新信息更新長(zhǎng)期記憶，例如通過對(duì)話歷史的動(dòng)態(tài)編輯。
遺忘（Forgetting）：有選擇性地移除過時(shí)或不相關(guān)的記憶，例如通過時(shí)間衰減或用戶反饋。
- 利用（Utilization）：
檢索（Retrieval）：根據(jù)當(dāng)前輸入和上下文檢索相關(guān)記憶，例如通過多跳圖檢索或基于事件的檢索。
整合（Integration）：將檢索到的記憶與模型上下文結(jié)合，支持連貫的推理和決策。
生成（Generation）：基于整合的記憶生成響應(yīng)，例如通過多跳推理或反饋引導(dǎo)的生成。
- 個(gè)性化（Personalization）：
模型級(jí)適應(yīng)（Model-Level Adaptation）：通過微調(diào)或輕量級(jí)更新將用戶偏好編碼到模型參數(shù)中。
記憶級(jí)增強(qiáng)（Memory-Level Augmentation）：在推理時(shí)從外部記憶中檢索用戶特定信息以增強(qiáng)個(gè)性化。
3.2 長(zhǎng)上下文記憶
長(zhǎng)上下文記憶涉及處理和利用大量的上下文信息，以支持長(zhǎng)文本理解和生成。
- 參數(shù)化效率（Parametric Efficiency）：
KV緩存丟棄（KV Cache Dropping）：通過靜態(tài)或動(dòng)態(tài)方式丟棄不必要的KV緩存，以減少內(nèi)存需求。
KV緩存存儲(chǔ)優(yōu)化（KV Cache Storing Optimization）：通過量化或低秩表示壓縮KV緩存，以減少內(nèi)存占用。
KV緩存選擇（KV Cache Selection）：通過查詢感知的方式選擇性加載KV緩存，以加速推理。
- 上下文利用（Contextual Utilization）：
上下文檢索（Context Retrieval）：通過圖結(jié)構(gòu)或片段級(jí)選擇方法，從大量上下文中檢索關(guān)鍵信息。
上下文壓縮（Context Compression）：通過軟提示壓縮或硬提示壓縮，減少上下文長(zhǎng)度，提高推理效率。
3.3 參數(shù)化記憶修改
參數(shù)化記憶修改涉及對(duì)模型內(nèi)部參數(shù)的動(dòng)態(tài)調(diào)整，以適應(yīng)新的知識(shí)或任務(wù)需求。
- 編輯（Editing）：
定位-編輯方法（Locating-then-Editing）：通過歸因或追蹤找到存儲(chǔ)知識(shí)的位置，然后直接修改。
元學(xué)習(xí)（Meta Learning）：通過編輯網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)權(quán)重變化，實(shí)現(xiàn)快速和穩(wěn)健的修正。
提示方法（Prompt-based Methods）：通過精心設(shè)計(jì)的提示間接引導(dǎo)輸出。
附加參數(shù)方法（Additional-parameter Methods）：通過添加外部參數(shù)模塊調(diào)整行為，而不修改模型權(quán)重。
- 遺忘（Unlearning）：
定位-遺忘方法（Locating-then-Unlearning）：找到負(fù)責(zé)特定記憶的參數(shù)，然后應(yīng)用目標(biāo)更新或禁用。
訓(xùn)練目標(biāo)方法（Training Objective-based Methods）：通過修改訓(xùn)練損失函數(shù)或優(yōu)化策略，顯式鼓勵(lì)遺忘。
- 持續(xù)學(xué)習(xí)（Continual Learning）：
正則化方法（Regularization-based Methods）：通過約束重要權(quán)重的更新，保留關(guān)鍵參數(shù)記憶。
重放方法（Replay-based Methods）：通過重新引入過去樣本強(qiáng)化記憶，特別適合在訓(xùn)練中整合檢索到的外部知識(shí)。
3.4 多源記憶
多源記憶涉及整合來自不同來源（如文本、知識(shí)圖譜、多模態(tài)輸入）的信息，以支持更豐富的推理和決策。
- 跨文本整合（Cross-textual Integration）：
推理（Reasoning）：整合多格式記憶以生成一致的響應(yīng)，例如通過動(dòng)態(tài)整合領(lǐng)域特定的參數(shù)化記憶。
沖突解決（Conflict Resolution）：識(shí)別和處理來自不同記憶源的矛盾信息，例如通過信任校準(zhǔn)和來源歸因。
- 多模態(tài)協(xié)調(diào)（Multi-modal Coordination）：
融合（Fusion）：對(duì)齊跨模態(tài)信息，例如通過統(tǒng)一語義投影或長(zhǎng)期跨模態(tài)記憶整合。
檢索（Retrieval）：跨模態(tài)檢索存儲(chǔ)的知識(shí)，例如通過基于嵌入的相似性計(jì)算。
https://arxiv.org/pdf/2505.00675
Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions
https://knowledge-representation.org/j.z.pan/本文轉(zhuǎn)載自PaperAgent，作者：PaperAgent
