譯者 | 布加迪

審校 | 重樓

小語(yǔ)言模型（SLM）是大語(yǔ)言模型（LLM）的緊湊版。它們包含的參數(shù)通常少于大語(yǔ)言模型：大約30億個(gè)參數(shù)或更少。這使得它們相對(duì)輕量級(jí)，推理時(shí)間更快。

SLM方面一個(gè)值得研究的主題是將它們集成到檢索增強(qiáng)生成（RAG）系統(tǒng)中，以增強(qiáng)其性能。本文探討了這一最新趨勢(shì)，概述了將SLM集成到RAG系統(tǒng)中的好處和局限性。

簡(jiǎn)述SLM

為了更好地描述SLM，重要的是闡明它與LLM的區(qū)別。

• 大小和復(fù)雜性：雖然LLM可能有多達(dá)數(shù)萬(wàn)億個(gè)參數(shù)，但SLM小得多，通常只有幾百萬(wàn)到幾十億個(gè)參數(shù)。這仍然相當(dāng)龐大，但生活中的一切都是相對(duì)的，尤其較之LLM。
• 所需資源：鑒于尺寸減小，SLM用于訓(xùn)練和推理的計(jì)算資源不如LLM那么多。這種更高的資源效率是SLM的主要優(yōu)勢(shì)之一。
• 模型性能：另一方面，由于全面的訓(xùn)練過(guò)程、數(shù)量更多的參數(shù)，LLM在準(zhǔn)確性方面往往更勝一籌，并且能夠應(yīng)對(duì)比SLM更復(fù)雜的任務(wù)：LLM就像一個(gè)更大的大腦！同時(shí)，SLM在理解和生成具有復(fù)雜模式的文本方面可能存在局限性。

除了資源和成本效率外，SLM的其他優(yōu)點(diǎn)還包括更高的部署靈活性，這是由于它是輕量級(jí)模型。另一個(gè)優(yōu)點(diǎn)是它可以更快地微調(diào)特定領(lǐng)域的數(shù)據(jù)集。

至于SLM的缺點(diǎn)，除了對(duì)非常具有挑戰(zhàn)性的語(yǔ)言任務(wù)而言局限性更大外，其通用性較差，并且在處理針對(duì)它訓(xùn)練的領(lǐng)域數(shù)據(jù)之外的語(yǔ)言時(shí)困難更大。

SLM與RAG系統(tǒng)的集成

將SLM集成到RAG系統(tǒng)中可以實(shí)現(xiàn)幾個(gè)目標(biāo)，比如提高特定領(lǐng)域應(yīng)用環(huán)境中的系統(tǒng)性能。如上所述，針對(duì)專用數(shù)據(jù)集微調(diào)SLM的成本明顯低于針對(duì)相同數(shù)據(jù)集微調(diào)LLM，并且RAG系統(tǒng)中的微調(diào)模型可以提供比使用通用文本訓(xùn)練的基礎(chǔ)模型更準(zhǔn)確、更符合上下文的響應(yīng)?？傊?，SLM-RAG集成可以確保經(jīng)過(guò)微調(diào)的生成器（SLM）生成的內(nèi)容與檢索到的信息緊密相關(guān)，從而提高整個(gè)系統(tǒng)的準(zhǔn)確性。

現(xiàn)在不妨回顧一下基本的RAG架構(gòu)是什么樣子的（本文中“SLM”替換生成器內(nèi)的“LLM”）：

圖1. RAG架構(gòu)

上面討論的SLM在RAG系統(tǒng)中的作用實(shí)質(zhì)上是成為系統(tǒng)的生成器。然而，將SLM集成到RAG系統(tǒng)中有很多方法。一種方法是成為額外的檢索器組件來(lái)增強(qiáng)性能，通過(guò)根據(jù)查詢相關(guān)性對(duì)檢索到的文檔進(jìn)行排名或重新排名，從而為生成器確保更高質(zhì)量的輸入，而生成器又可能是另一個(gè)SLM或LLM。SLM 還可能用于RAG系統(tǒng)中，以預(yù)處理或過(guò)濾檢索到的上下文，并確保僅將最相關(guān)或最高質(zhì)量的信息傳遞給生成器：這種方法名為預(yù)生成過(guò)濾或增強(qiáng)。最后還有混合RAG架構(gòu)，其中LLM和SLM可以作為生成器而共存：通過(guò)查詢路由機(jī)制，SLM負(fù)責(zé)處理簡(jiǎn)單或特定領(lǐng)域的查詢，LLM 則負(fù)責(zé)處理需要更強(qiáng)上下文理解能力的復(fù)雜通用任務(wù)。

在RAG中使用SLM并不是各種情形下的首選方法，這種方法的一些挑戰(zhàn)和限制如下：

• 數(shù)據(jù)稀缺：高質(zhì)量、特定領(lǐng)域的數(shù)據(jù)集對(duì)于訓(xùn)練SLM至關(guān)重要，但并不總是容易找到。無(wú)法依賴足夠的數(shù)據(jù)可能會(huì)導(dǎo)致模型性能不佳。
• 詞匯限制：經(jīng)過(guò)微調(diào)的SLM缺乏全面的詞匯，這會(huì)影響它理解和生成具有不同語(yǔ)言模式的不同響應(yīng)的能力。
• 部署限制：盡管SLM的輕量級(jí)特性使其適合邊緣設(shè)備，但面對(duì)各種硬件確保兼容性和最佳性能仍然是一大挑戰(zhàn)。

由此我們得出結(jié)論，對(duì)于每個(gè)RAG應(yīng)用來(lái)說(shuō)，SLM并不普遍優(yōu)于LLM。為您的RAG系統(tǒng)選擇SLM還是LLM應(yīng)該取決于幾個(gè)標(biāo)準(zhǔn)：在專注于特定領(lǐng)域任務(wù)的系統(tǒng)中，在資源受限的情況下，以及在數(shù)據(jù)隱私至關(guān)重要的情況下，SLM更適合，這使得它比LLM更容易用于云之外的推理。相反，當(dāng)復(fù)雜的查詢理解至關(guān)重要，并且需要檢索和處理更長(zhǎng)的上下文窗口（大量文本信息）時(shí)，LLM是通用RAG應(yīng)用的首選方法。

結(jié)語(yǔ)

SLM提供了一種經(jīng)濟(jì)高效且靈活的LLM替代方案，尤其是對(duì)于簡(jiǎn)化特定領(lǐng)域的RAG應(yīng)用程序的開(kāi)發(fā)。本文討論了在RAG系統(tǒng)中利用SLM的優(yōu)勢(shì)和局限性，闡述了小語(yǔ)言模型在這些創(chuàng)新的檢索生成解決方案中的作用，這是當(dāng)今AI研究領(lǐng)域的一個(gè)活躍主題。

原文標(biāo)題：Exploring the Role of Smaller LMs in Augmenting RAG Systems，作者：Ivan Palomares Carrascosa