我們都知道，在科研界，LLM在解決簡(jiǎn)單科學(xué)問(wèn)題時(shí)表現(xiàn)得游刃有余，但在應(yīng)對(duì)復(fù)雜問(wèn)題時(shí)往往會(huì)出現(xiàn)幻覺(jué)。于是，為了讓模型更靠譜，研究人員嘗試給模型裝上科學(xué)工具，幫助它們解決高難度任務(wù)。

然而，一旦用上工具，模型就「上癮」了！甚至連一些不怎么難的問(wèn)題都要靠工具解決。這不僅讓計(jì)算成本暴漲，還影響了模型自己「獨(dú)立思考」的能力——就像有的人有了計(jì)算器就不再心算一樣。

相較而言，人類(lèi)科學(xué)專(zhuān)家在解決科學(xué)問(wèn)題時(shí)，通常會(huì)先評(píng)估問(wèn)題的復(fù)雜性，再?zèng)Q定使用基本推理或?qū)I(yè)工具。

正是受這種解決問(wèn)題流程的啟發(fā)，一支來(lái)自UCSD和清華的研究團(tuán)隊(duì)提出了一種全新的微調(diào)方法，讓模型「邊適應(yīng)邊學(xué)習(xí)」，學(xué)會(huì)在使用外部科學(xué)工具和依賴(lài)內(nèi)部知識(shí)之間做出合理選擇。

論文地址：https://arxiv.org/abs/2411.00412

這一方法的顯著意義在于它大大提高了模型效率。

研究人員僅使用一個(gè)擁有80億參數(shù)的LLM——遠(yuǎn)小于行業(yè)巨頭如GPT-4——便在測(cè)試數(shù)據(jù)集上實(shí)現(xiàn)了28.18%的答案準(zhǔn)確率提升和13.89%的工具使用精度提高。

這挑戰(zhàn)了AI開(kāi)發(fā)中的一個(gè)慣有想法：更大的模型必然能帶來(lái)更好的結(jié)果。

教會(huì)AI在使用外部工具和依賴(lài)內(nèi)部知識(shí)之間進(jìn)行判斷——就像訓(xùn)練一位年輕科學(xué)家如何在相信自己計(jì)算的同時(shí)知道何時(shí)咨詢(xún)專(zhuān)業(yè)設(shè)備——可能比單純地卷AI計(jì)算能力更為重要。

微調(diào)方法簡(jiǎn)介

微調(diào)方法由兩部分組成：World Knowledge Distillation（WKD）和Tool Usage Adaptation（TUA）。

World Knowledge Distillation可以翻譯為「世界知識(shí)蒸餾」。在WKD過(guò)程中，LLM通過(guò)學(xué)習(xí)那些借助工具生成的解答，來(lái)掌握和積累特定領(lǐng)域的知識(shí)。

WKD分為監(jiān)督微調(diào)和偏好優(yōu)化兩部分。

對(duì)于所有問(wèn)題，研究人員提示LLM使用工具生成確定性的解答，然后將這些解答作為目標(biāo)，進(jìn)行監(jiān)督微調(diào)（SFT）。

在遇到開(kāi)放式問(wèn)題時(shí)，除了進(jìn)行監(jiān)督微調(diào)外，LLM會(huì)生成一組不同的解答提議，并使用預(yù)定義的指標(biāo)對(duì)這些提議進(jìn)行排序，以構(gòu)建偏好對(duì)；然后利用這些數(shù)據(jù)進(jìn)行偏好優(yōu)化。

而在Tool Usage Adaptation中，研究人員首先在基準(zhǔn)數(shù)據(jù)集的問(wèn)題上評(píng)估經(jīng)過(guò)WKD微調(diào)后的LLM。對(duì)于每個(gè)問(wèn)題，他們采樣生成一組直接回答，以計(jì)算其準(zhǔn)確率。

基于預(yù)設(shè)的準(zhǔn)確率閾值，他們將問(wèn)題分為兩個(gè)子集：簡(jiǎn)單問(wèn)題集，即LLM可以直接解決的問(wèn)題；以及復(fù)雜問(wèn)題集，即LLM需要借助工具回答的問(wèn)題。

對(duì)于簡(jiǎn)單問(wèn)題集，保持與WKD一致的對(duì)齊目標(biāo)，即繼續(xù)通過(guò)內(nèi)化已有知識(shí)直接作答；而對(duì)于復(fù)雜問(wèn)題集，研究人員將對(duì)齊目標(biāo)切換為包含工具使用軌跡的增強(qiáng)解答，并訓(xùn)練LLM準(zhǔn)確地遵循這些軌跡。

實(shí)驗(yàn)過(guò)程

研究人員使用Llama-3.1-8B-Instruct作為微調(diào)方案的基礎(chǔ)模型。同時(shí)還對(duì)其他最先進(jìn)的開(kāi)源和閉源模型進(jìn)行了廣泛評(píng)估，包括GPT-4o、GPT-4o mini、Claude 3.5 Sonnet和Llama-3.1-70B-Instruct。

數(shù)據(jù)集

研究人員使用了兩個(gè)現(xiàn)有的公開(kāi)數(shù)據(jù)集MATH和SciBench，并構(gòu)建了四個(gè)新的科學(xué)數(shù)據(jù)集用于實(shí)驗(yàn)：Mujoco、偏微分方程（PDEs）、氣候科學(xué)和流行病學(xué)。

四個(gè)數(shù)據(jù)集的構(gòu)建遵循系統(tǒng)化流程：首先，基于專(zhuān)家咨詢(xún)和模擬器功能設(shè)計(jì)了特定領(lǐng)域的問(wèn)題模板；接著，通過(guò)在科學(xué)合理的參數(shù)范圍內(nèi)進(jìn)行采樣，生成單獨(dú)的問(wèn)題；最后，利用LLMs和工具使用軌跡生成相應(yīng)的解答。

Mujoco中主要涉及剛體和柔體動(dòng)力學(xué)相關(guān)問(wèn)題。

在偏微分方程（PDEs）中，研究人員設(shè)計(jì)了內(nèi)部的數(shù)值求解器，并編制了關(guān)于熱傳遞、化學(xué)工程、人口模擬等領(lǐng)域的問(wèn)題。

氣候科學(xué)問(wèn)題數(shù)據(jù)集則以神經(jīng)代理模型為中心。該模型接受時(shí)間、氣候情景（如SSP126、SSP245）、溫室氣體排放（CO?，CH?）和氣溶膠氣體（BC，SO?）等輸入，輸出相應(yīng)的地表溫度。

流行病學(xué)問(wèn)題數(shù)據(jù)集使用了最先進(jìn)的代理模型。模型輸入包括每個(gè)加利福尼亞州縣的28天多維特征以及24維的州級(jí)初始條件，用于描述流行病狀態(tài)。模型輸出未來(lái)28天的流行病狀態(tài)預(yù)測(cè)。

四個(gè)自定義數(shù)據(jù)集主要由多項(xiàng)選擇題構(gòu)成，而其中的氣候科學(xué)數(shù)據(jù)集還包含開(kāi)放式問(wèn)題（例如關(guān)于氣候變化緩解的政策建議）。公開(kāi)的MATH和SciBench數(shù)據(jù)集則完全由數(shù)值問(wèn)題組成。

外部科學(xué)工具

研究人員為不同數(shù)據(jù)集使用了不同的工具。

對(duì)于Mujoco數(shù)據(jù)集，他們使用了官方API；

對(duì)于PDEs數(shù)據(jù)集，他們利用了內(nèi)部的數(shù)值求解器；

對(duì)于氣候和流行病學(xué)數(shù)據(jù)集，他們使用了封裝對(duì)應(yīng)神經(jīng)代理模型的API；

對(duì)于開(kāi)放式數(shù)據(jù)集，他們采用了Python代碼解釋器。

評(píng)估指標(biāo)

實(shí)驗(yàn)主要評(píng)估了兩種準(zhǔn)確率：答案準(zhǔn)確率和工具使用準(zhǔn)確率。

答案準(zhǔn)確率

答案準(zhǔn)確率量化了模型提供的正確答案比例。

對(duì)于自定義數(shù)據(jù)集中的多項(xiàng)選擇題（MCQs），研究人員根據(jù)模型是否選擇正確選項(xiàng)來(lái)分配二進(jìn)制分?jǐn)?shù)。

對(duì)于MATH和SciBench數(shù)據(jù)集中的數(shù)值答案，如果答案在真實(shí)值的±5%的容差范圍內(nèi)，則視為正確答案。

工具使用準(zhǔn)確率

工具使用準(zhǔn)確率評(píng)估模型是否能在工具使用方面做出智能決策，即在回答較難問(wèn)題時(shí)使用工具，而在回答較簡(jiǎn)單問(wèn)題時(shí)直接作答。

問(wèn)題根據(jù)訓(xùn)練模型是否可通過(guò)Pn（無(wú)工具使用）回答來(lái)劃分為簡(jiǎn)單（E）或困難（H）。當(dāng)使用允許工具選擇的Pi時(shí)，決策進(jìn)一步標(biāo)記為T(mén)（使用工具）或N（不使用工具）。例如，HT表示模型在處理一個(gè)困難問(wèn)題時(shí)選擇使用工具。

工具使用準(zhǔn)確率定義為：

實(shí)驗(yàn)結(jié)果

答案準(zhǔn)確率

該微調(diào)方法在自定義數(shù)據(jù)集上的表現(xiàn)顯著優(yōu)于所有基準(zhǔn)模型，這些數(shù)據(jù)集通常未在預(yù)訓(xùn)練中涵蓋。

盡管在公開(kāi)數(shù)據(jù)集上，微調(diào)過(guò)的模型并未超越當(dāng)前的最先進(jìn)模型，但相比于未微調(diào)的基礎(chǔ)模型，該方法顯示出顯著的改進(jìn)。這一在公開(kāi)基準(zhǔn)測(cè)試上的性能差距，可能是由于當(dāng)前最先進(jìn)模型具有更多的參數(shù)量，并對(duì)開(kāi)源數(shù)據(jù)集進(jìn)行了特定優(yōu)化。

工具使用準(zhǔn)確率

總體而言，訓(xùn)練模型在所有數(shù)據(jù)集上均實(shí)現(xiàn)了最佳的工具使用準(zhǔn)確率，除了在SciBench數(shù)據(jù)集上排名第二。

相比之下，其他模型的準(zhǔn)確率大約為50%，表明兩種典型情況：要么過(guò)度依賴(lài)工具，要么從不嘗試使用工具。

除了表中展示的優(yōu)勢(shì)外，研究人員還進(jìn)一步分析了MATH數(shù)據(jù)集上的工具使用決策情況，該數(shù)據(jù)集在下圖中根據(jù)問(wèn)題難度提供了先驗(yàn)標(biāo)簽。

訓(xùn)練模型在問(wèn)題難度增加時(shí)顯示出合理的工具使用增長(zhǎng)。基礎(chǔ)模型則無(wú)論問(wèn)題難度如何均表現(xiàn)出對(duì)工具的過(guò)度依賴(lài)；而Claude 3.5在面對(duì)簡(jiǎn)單和困難問(wèn)題時(shí)均表現(xiàn)出更多的直接回答信心，可能是因?yàn)镸ATH是一個(gè)公開(kāi)數(shù)據(jù)集，該模型在訓(xùn)練期間已接觸到類(lèi)似問(wèn)題。

作者介紹

Bohan Lyu

Bohan Lyu目前在清華大學(xué)修讀計(jì)算機(jī)科學(xué)與經(jīng)濟(jì)學(xué)雙學(xué)位。

2023年，他加入清華NLP實(shí)驗(yàn)室，受劉知遠(yuǎn)教授的指導(dǎo)。

2024年夏天，他前往加州大學(xué)圣地亞哥分校（UCSD）的計(jì)算機(jī)科學(xué)與工程系Rose-STL實(shí)驗(yàn)室，導(dǎo)師是Rose Yu教授。本研究部分工作在他訪問(wèn)UCSD期間完成。

他的研究興趣是設(shè)計(jì)創(chuàng)新的計(jì)算機(jī)科學(xué)方法，特別是專(zhuān)注于語(yǔ)言技術(shù)、知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘，以解決現(xiàn)實(shí)世界的挑戰(zhàn)。

此前，他曾擔(dān)任過(guò)ICLR 2024、ICML 2024和ACL 2024研討會(huì)的審稿人。

Yadi Cao

Yadi Cao在加州大學(xué)圣地亞哥分校（UCSD）計(jì)算機(jī)科學(xué)與工程系擔(dān)任博士后研究員，導(dǎo)師是Rose Yu教授。

此前，他在加州大學(xué)洛杉磯分校（UCLA）獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，導(dǎo)師是Chenfanfu Jiang教授和Demetri Terzopoulos教授。

他的博士研究主要集中在偏微分方程（PDE）的數(shù)值解和機(jī)器學(xué)習(xí)方法，特別是在計(jì)算固體和流體動(dòng)力學(xué)方面。