RAG檢索增強(qiáng)生成和大模型微調(diào)的抉擇 原創(chuàng)
?“ RAG和微調(diào)即相似，又不完全相同，它們?cè)谀芰ι鲜腔パa(bǔ)的。”
很多人會(huì)奇怪RAG和微調(diào)有什么關(guān)系，而對(duì)RAG和微調(diào)了解的人應(yīng)該都明白為什么會(huì)把RAG和微調(diào)放在一塊討論。
有些人說(shuō)有了RAG就不需要微調(diào)，而另一些人說(shuō)有了微調(diào)就不需要RAG，這到底是怎么回事？RAG和微調(diào)之間到底存在什么樣的恩恩怨怨？
RAG與微調(diào)
作者在第一次看到RAG和微調(diào)的標(biāo)題時(shí)，也是一臉懵逼；RAG和微調(diào)有什么關(guān)系，它們完全是兩種不同的技術(shù)，為什么會(huì)被放在一塊討論？
而隨著對(duì)大模型了解的加深，慢慢就發(fā)現(xiàn)RAG和微調(diào)卻是有很大的關(guān)聯(lián)，只不過(guò)兩者的關(guān)系并不是很多人所認(rèn)為的一山不容二虎，而是可以相互依存的關(guān)系。
看過(guò)前面介紹RAG文章的人應(yīng)該都知道，RAG技術(shù)的出現(xiàn)是為了解決大模型存在的幾個(gè)問(wèn)題；而微調(diào)的出現(xiàn)是為了解決大模型在某些方面的不足。
從這一點(diǎn)來(lái)說(shuō)，兩者還是有很大共同點(diǎn)的；老話說(shuō)條條大路通羅馬，雖然兩者的目的是一樣的，但道路卻是不一樣的；這也是為什么會(huì)有RAG與微調(diào)技術(shù)的爭(zhēng)論。
RAG的本質(zhì)是通過(guò)檢索外部資料庫(kù)獲取數(shù)據(jù)，并通過(guò)prompt提示詞的方式輸入到大模型中；其更像是一種外部工具，就類似于我們所使用的一些工具書(shū)，遇到不懂的東西就查一下，但也沒(méi)必要刻意去記憶和理解。
而微調(diào)的本質(zhì)是通過(guò)訓(xùn)練數(shù)據(jù)對(duì)大模型在某一方面進(jìn)行強(qiáng)化；比如一個(gè)識(shí)圖的大模型，可以強(qiáng)化一下讓它在寵物方面有更好的效果；微調(diào)就類似于技能培訓(xùn)，其影響并不是一時(shí)的，而是終身的。
比如說(shuō)一個(gè)文本模型，它在歷史方面比較欠缺，這時(shí)就有兩種解決辦法；第一種就是使用RAG技術(shù)，遇到歷史問(wèn)題的時(shí)候先通過(guò)RAG檢索一些資料；第二種就是微調(diào)技術(shù)，找到一堆歷史數(shù)據(jù)，然后通過(guò)微調(diào)的方式讓大模型去學(xué)習(xí)這些數(shù)據(jù)。
這兩種方式不論使用哪一種都可以達(dá)到目的，但兩者還有有所區(qū)別；比如說(shuō)RAG技術(shù)的優(yōu)點(diǎn)是成本低，耦合度低；一個(gè)文本模型使用RAG檢索歷史數(shù)據(jù)，那么它就是一個(gè)精通歷史的大模型。而如果使用RAG檢索科學(xué)數(shù)據(jù)，那么它就是一個(gè)科學(xué)家。
而微調(diào)模型，使用什么樣的微調(diào)數(shù)據(jù)，大模型就會(huì)成為什么樣的模型；同樣的例子，如果使用歷史數(shù)據(jù)進(jìn)行微調(diào)，那么這個(gè)模型就只擅長(zhǎng)歷史方面的內(nèi)容；你問(wèn)它其它方面的知識(shí)，它就只能胡說(shuō)八道了；或者就是再收集一批數(shù)據(jù)重新對(duì)模型進(jìn)行微調(diào)；因此，微調(diào)的方式耦合度高，成本也高。
所以說(shuō)，RAG就類似于一個(gè)掌握了學(xué)習(xí)方法論的學(xué)霸，不論什么內(nèi)容，什么領(lǐng)域，因?yàn)樗莆樟撕玫膶W(xué)習(xí)方法，所以他學(xué)什么都很快；而微調(diào)就類似于一個(gè)靠勤奮死記硬背的學(xué)霸，雖然他在某一方面很擅長(zhǎng)，但因?yàn)闆](méi)有掌握具體的學(xué)習(xí)方法；一旦換個(gè)領(lǐng)域，它就只能從頭再來(lái)了。
然而，從應(yīng)用的角度來(lái)說(shuō)RAG和微調(diào)并不是水火不容的關(guān)系，很多時(shí)候往往需要兩者配合使用。
比如說(shuō)由于微調(diào)的成本比較高，因此我不可能因?yàn)橐稽c(diǎn)新知識(shí)就對(duì)模型微調(diào)或訓(xùn)練一次；這時(shí)RAG就成為了一個(gè)很好用的工具。
同樣，我不能因?yàn)槲业墓ぞ弑容^多，就代表我的能力也比較強(qiáng)，然后就不想再學(xué)習(xí)了；雖然利用RAG可以讓大模型解決很多問(wèn)題，但這并不代表著大模型就擁有了強(qiáng)大的思維能力。
比如說(shuō)你想搞一個(gè)用來(lái)搞科研的大模型，你不可能讓一個(gè)只會(huì)查資料(RAG)的大模型去搞科研，因?yàn)槟阈枰芫邆渌伎?，?shí)驗(yàn)和推理的能力，而不只是查資料的能力；這時(shí)，微調(diào)的作用就出現(xiàn)了，因?yàn)槲⒄{(diào)可以讓大模型具備更好的知識(shí)和邏輯思維能力。
所以說(shuō)，從某些方面來(lái)說(shuō)RAG和微調(diào)解決的是同一個(gè)問(wèn)題；但在其它方面，RAG能做到的事情，微調(diào)做不到；而微調(diào)能做到的事情RAG做不到。
因此，RAG和微調(diào)最好的協(xié)作方式就是互補(bǔ)；而不是針尖對(duì)麥芒。
?
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
