圖片

你是否遇到過這樣的情況：GPT、Claude等大模型在對話時很聰明，但經(jīng)過微調(diào)后卻變得「變笨」了？

這不是你的錯覺，而是AI學(xué)習(xí)的一個有趣現(xiàn)象。最近，谷歌研究團隊發(fā)表了一篇重磅論文，揭示了大模型兩種學(xué)習(xí)方式之間的巨大差異。

現(xiàn)在一起來探索這個AI世界中的奇妙現(xiàn)象：為什么有時候「上下文學(xué)習(xí)」比「微調(diào)學(xué)習(xí)」更靈活？

圖片

1、大模型的兩種學(xué)習(xí)方式，哪個更強？

大模型主要通過兩種方式學(xué)習(xí)新知識：

（1）上下文學(xué)習(xí)（In-context Learning）：在對話中給模型幾個例子，它能立刻舉一反三

（2）微調(diào)學(xué)習(xí)（Fine-tuning）：通過大量訓(xùn)練數(shù)據(jù)調(diào)整模型參數(shù)，使其適應(yīng)新任務(wù)

直覺上，我們會認(rèn)為微調(diào)應(yīng)該效果更好，畢竟它直接修改了模型的「大腦」。但谷歌的研究發(fā)現(xiàn)，在某些情況下，上下文學(xué)習(xí)的泛化能力竟然比微調(diào)更強！

2、「微調(diào)陷阱」：AI為何學(xué)得會卻用不好？

谷歌研究人員發(fā)現(xiàn)了一個有趣的現(xiàn)象：當(dāng)你教大模型"B是A的母親"這個事實后，模型能回答"誰是B的母親？"，但卻無法回答"誰是A的兒子？"

這就是著名的「反轉(zhuǎn)詛咒」（Reversal Curse）問題。盡管兩個問題本質(zhì)上是同一信息的不同表達(dá)方式，但微調(diào)后的模型卻無法完成這種簡單的邏輯轉(zhuǎn)換。

研究通過精心設(shè)計的實驗證明：微調(diào)學(xué)習(xí)在以下幾種情況下表現(xiàn)不佳：

（1）關(guān)系反轉(zhuǎn)：如"狗是哺乳動物" → "哺乳動物包括狗"

（2）三段論推理：如"狗是哺乳動物，哺乳動物是溫血動物" → "狗是溫血動物"

（3）知識組合：需要將多個事實串聯(lián)起來得出新結(jié)論

而同樣的任務(wù)，當(dāng)所有訓(xùn)練數(shù)據(jù)放在對話上下文中時，模型卻能輕松完成！

3、突破瓶頸：如何讓微調(diào)也能「靈活思考」？

既然上下文學(xué)習(xí)和微調(diào)各有優(yōu)勢，能否結(jié)合兩者優(yōu)點？

谷歌研究人員提出了一個巧妙的解決方案：用上下文推理來增強微調(diào)數(shù)據(jù)。

具體做法是：

（1）局部增強：對每條訓(xùn)練數(shù)據(jù)進行改寫和反轉(zhuǎn)，增加表達(dá)多樣性

（2）全局增強：讓模型基于整個訓(xùn)練集做推理，生成新的邏輯關(guān)系

（3）句子分割：將多句文檔拆分為獨立的訓(xùn)練樣本，打破固有關(guān)聯(lián)

這種方法在實驗中：增強后的微調(diào)模型不僅克服了「反轉(zhuǎn)詛咒」，在某些測試中甚至超過了上下文學(xué)習(xí)！

圖片

圖片

4、結(jié)語

這項研究不僅解釋了大模型學(xué)習(xí)的奇怪現(xiàn)象，更為AI應(yīng)用提供了實用指導(dǎo)：

（1）對AI開發(fā)者：微調(diào)模型前，先用上下文推理增強訓(xùn)練數(shù)據(jù)，能顯著提升泛化能力

（2）對AI研究：揭示了不同學(xué)習(xí)方式的歸納偏好差異，為理解大模型內(nèi)部機制提供線索

（3）對認(rèn)知科學(xué)：呼應(yīng)了「思考學(xué)習(xí)」理論，即通過計算可以提高信息的可訪問性

更廣泛地看，這項研究也啟示我們：AI的學(xué)習(xí)過程與人類學(xué)習(xí)有著驚人的相似之處。人類學(xué)習(xí)新知識時，也會通過類比、推理和重新組織等方式，使知識變得更加靈活可用。

當(dāng)我們使用ChatGPT等大模型時，總會驚嘆于它們在對話中展現(xiàn)的靈活推理能力。但當(dāng)我們嘗試通過微調(diào)讓模型掌握特定領(lǐng)域知識時，卻常常發(fā)現(xiàn)效果不盡如人意。

谷歌這項研究揭示了其中的根本原因：微調(diào)和上下文學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)中激活了不同的信息處理路徑。

未來，隨著「思考增強訓(xùn)練」等技術(shù)的發(fā)展，我們有望開發(fā)出兼具上下文學(xué)習(xí)靈活性和微調(diào)效率的新一代AI系統(tǒng)。這將極大推動AI在醫(yī)療診斷、法律咨詢、教育輔導(dǎo)等需要靈活推理的領(lǐng)域的應(yīng)用。

論文標(biāo)題：On the generalization of language models from in-context learning and finetuning: a controlled study 

論文鏈接：https://arxiv.org/abs/2505.00661

本文轉(zhuǎn)載自????AI帝國????，作者：無影寺