本文介紹Adapt-LLM技術(shù)是如何動(dòng)態(tài)確定是否需要檢索額外的上下文信息，以避免不必要的外部檢索，進(jìn)而提高LLM應(yīng)用的效率。

現(xiàn)如今，檢索增強(qiáng)生成(Retrieval-augmented generation，RAG)管道已經(jīng)能夠使得大語(yǔ)言模型(Large Language Models，LLM)在其響應(yīng)環(huán)節(jié)中，充分利用外部的信息源了。不過(guò)，由于RAG應(yīng)用會(huì)針對(duì)發(fā)送給LLM的每個(gè)請(qǐng)求，都去檢索外部信息，而LLM實(shí)際上已經(jīng)包含了大量無(wú)需檢索即可使用的知識(shí)，因此整個(gè)過(guò)程反而顯得效率低下。

那么，我們是否可以通過(guò)配置LLM，使其只在內(nèi)部知識(shí)不足的情況下，才去使用RAG呢?目前，博爾扎諾大學(xué)(University of Bozen-Bolzano)和布魯諾-凱斯勒基金會(huì)(Fondazione Bruno Kessler)的研發(fā)人員開(kāi)發(fā)的一項(xiàng)“自適應(yīng)LLM(Adapt-LLM，https://arxiv.org/abs/2404.19705)”技術(shù)，可以訓(xùn)練LLM動(dòng)態(tài)地確定它們是否需要在問(wèn)題解答任務(wù)中，檢索額外的上下文信息，并避免不必要的外部檢索，來(lái)提高LLM應(yīng)用的效率。

記憶與檢索

通常，LLM回答問(wèn)題的方法主要有兩種。這兩種方法好比閉卷答題與開(kāi)卷答題：

第一種是依靠在訓(xùn)練過(guò)程中獲得的參數(shù)記憶。而這些參數(shù)記憶的局限性在于它需要完全基本語(yǔ)料的訓(xùn)練。你可以通過(guò)微調(diào)或少量提示技術(shù)，來(lái)提高參數(shù)記憶的性能，從而將模型的注意力集中在相關(guān)參數(shù)上。不過(guò)，在模型必須動(dòng)態(tài)使用新的信息(例如：近期的新聞或是未包含在訓(xùn)練語(yǔ)料庫(kù)中的私人信息)的情況下，這種方法并不實(shí)用。

第二種是使用信息檢索器為模型提供上下文信息。而檢索增強(qiáng)生成就屬于這種方法。不過(guò)，信息檢索的問(wèn)題在于，有時(shí)模型并不需要額外的上下文信息，其內(nèi)部知識(shí)足以回答問(wèn)題。

而作為人類的我們，使用的卻是混合方法。例如，當(dāng)我們對(duì)某個(gè)問(wèn)題的答案了如指掌時(shí)，我們便可立即作答。但當(dāng)我們對(duì)自己的知識(shí)沒(méi)有信心時(shí)，就會(huì)去查找外部來(lái)源。目前，一些LLM技術(shù)通過(guò)“常見(jiàn)度評(píng)分”機(jī)制，來(lái)使用此類混合方法。其假設(shè)前提是：當(dāng)問(wèn)題十分常見(jiàn)時(shí)，模型就會(huì)利用內(nèi)部記憶知識(shí)進(jìn)行回答;而對(duì)于不太常見(jiàn)的問(wèn)題，模型則需要RAG系統(tǒng)的幫助來(lái)獲取必要的信息。不過(guò)，這種方法往往要求問(wèn)題附有常見(jiàn)程度的評(píng)分，而這并非總能夠獲取到的。

Adapt-LLM

Adapt-LLM框架

顧名思義，Adapt-LLM為了實(shí)現(xiàn)“自適應(yīng)檢索”而訓(xùn)練語(yǔ)言模型，使其能夠自主地決定何時(shí)該使用信息檢索系統(tǒng)，來(lái)獲取更多的上下文信息。其研發(fā)人員指出：“在這種方法中，如果任務(wù)的解決方案已被編碼在模型的參數(shù)中，它將直接使用由模型生成的解決方案。反之，如果答案沒(méi)有被編碼在模型的知識(shí)域里，那么就需要借助外部知識(shí)來(lái)生成答案?！?/p>

就工作流程而言，Adapt-LLM可分為四個(gè)步驟：

• 首個(gè)包含了問(wèn)題的提示被發(fā)送給Adapt-LLM模型處。
• 該模型會(huì)對(duì)提示進(jìn)行評(píng)估，以確定是否需要額外的語(yǔ)境，來(lái)有效地回答問(wèn)題。
• 如果模型認(rèn)為不需要額外的上下文，它就會(huì)直接根據(jù)參數(shù)存儲(chǔ)做出響應(yīng)。
• 如果Adapt-LLM模型需要額外的上下文，它會(huì)返回一個(gè)類似的特殊token。然后，應(yīng)用程序可以使用信息檢索器，根據(jù)問(wèn)題獲取上下文，并將其與原始提示結(jié)合起來(lái)。

可見(jiàn)，這種靈活的方法使得模型能夠在利用外部環(huán)境和提供直接答案之間取得平衡。

訓(xùn)練Adapt-LLM

為了訓(xùn)練 Adapt-LLM模型，我們首先需要一個(gè)包含了問(wèn)題、上下文和答案的元組(tuples)數(shù)據(jù)集。然后，針對(duì)每個(gè)元組，為模型提供并不包含上下文的問(wèn)題，并指示它在對(duì)自己的知識(shí)“有信心”時(shí)直接回答，而在需要額外上下文時(shí)返回 。

如果模型返回了正確的答案，則表明它已掌握了參數(shù)知識(shí)，并創(chuàng)建了一個(gè)包含問(wèn)題和答案(但不包含上下文)的新的訓(xùn)練實(shí)例。如果模型返回錯(cuò)誤的答案，則需要?jiǎng)?chuàng)建兩個(gè)訓(xùn)練實(shí)例：一個(gè)是包含了問(wèn)題和 答案的“參數(shù)提示”，另一個(gè)是包含了問(wèn)題、上下文、說(shuō)明和答案的“上下文提示”。

然后，在包含了這兩種類型示例的數(shù)據(jù)集上，研發(fā)人員對(duì)基礎(chǔ)模型進(jìn)行訓(xùn)練，從而形成Adapt-LLM的行為。

Adapt-LLM的測(cè)試結(jié)果

研發(fā)人員在PopQA(https://huggingface.co/datasets/akariasai/PopQA)上對(duì)Adapt-LLM進(jìn)行了多次測(cè)試。此處的PopQA是一個(gè)從各種在線平臺(tái)上收集問(wèn)題的數(shù)據(jù)集。他們使用 Llama-2 7B 作為基礎(chǔ)的LLM，并在由 NQ 和 SQuAD 問(wèn)答數(shù)據(jù)集所創(chuàng)建的Adapt-LLM數(shù)據(jù)集上，對(duì)其進(jìn)行了訓(xùn)練。測(cè)試完畢后，他們將Adapt-LLM模型與完全不檢索模型、以及始終檢索模型進(jìn)行了比較。

研究結(jié)果表明，Adapt-LLM的表現(xiàn)比只依賴參數(shù)記憶的永不檢索模型要好得多。同時(shí)，與始終檢索模型相比，它也能夠減少檢索的使用量，同時(shí)當(dāng)其參數(shù)記憶優(yōu)于RAG系統(tǒng)返回的信息時(shí)，還能夠提高整體性能。

據(jù)此，研發(fā)人員認(rèn)為“當(dāng)Adapt-LLM決定去檢索額外的信息時(shí)，其有上下文的結(jié)果明顯優(yōu)于沒(méi)有上下文的結(jié)果。同樣，當(dāng)Adapt-LLM依靠其參數(shù)記憶直接回答問(wèn)題時(shí)，也能提供較高的準(zhǔn)確率?！毖邪l(fā)人員補(bǔ)充道：“這些測(cè)試結(jié)果足以表明，該模型能夠有效地分辨出何時(shí)檢索信息，以及何時(shí)可以在沒(méi)有進(jìn)一步語(yǔ)境的情況下回答問(wèn)題?！?/p>

利與弊

遺憾的是，研發(fā)人員并沒(méi)有公布 Adapt-LLM的代碼和模型，因此我們很難去驗(yàn)證他們的實(shí)驗(yàn)結(jié)果。然而，由于這是一項(xiàng)非常實(shí)用的技術(shù)，他們應(yīng)該公布關(guān)于token的使用、及其推理時(shí)間等研究結(jié)果。幸運(yùn)的是，該算法實(shí)現(xiàn)起來(lái)比較容易，任何人都可以創(chuàng)建自己的 Adapt-LLM版本，進(jìn)而去驗(yàn)證它在各個(gè)領(lǐng)域數(shù)據(jù)集上的表現(xiàn)。

作者介紹

陳峻(Julian Chen)，51CTO社區(qū)編輯，具有十多年的IT項(xiàng)目實(shí)施經(jīng)驗(yàn)，善于對(duì)內(nèi)外部資源與風(fēng)險(xiǎn)實(shí)施管控，專注傳播網(wǎng)絡(luò)與信息安全知識(shí)與經(jīng)驗(yàn)。

原文標(biāo)題：Train your LLMs to choose between RAG and internal memory automatically，作者：Ben Dickson

鏈接：https://bdtechtalks.com/2024/05/06/adapt-llm/。