簡介

學(xué)術(shù)寫作對人工智能系統(tǒng)提出了獨(dú)特的挑戰(zhàn)，尤其是在準(zhǔn)確且在上下文中適當(dāng)整合引文方面。雖然大型語言模型（LLM）可以生成流暢的學(xué)術(shù)文本，但它們經(jīng)常遭受引文幻覺——捏造或錯誤歸屬參考文獻(xiàn)——這嚴(yán)重限制了它們在學(xué)術(shù)環(huán)境中的用途。

論文“ScholarCopilot：訓(xùn)練大型語言模型以使用精確引文進(jìn)行學(xué)術(shù)寫作”介紹了一種旨在解決這些局限性的新型框架。ScholarCopilot 由滑鐵盧大學(xué)、卡內(nèi)基梅隆大學(xué)和 Vector 研究所的研究人員開發(fā)，重新構(gòu)想了 AI 系統(tǒng)在學(xué)術(shù)寫作中處理引文過程的方式。

傳統(tǒng) RAG 與 ScholarCopilot 的比較圖 1：傳統(tǒng)檢索增強(qiáng)生成（左）與 ScholarCopilot 的迭代方法（右）之間的比較，顯示了生成質(zhì)量、檢索準(zhǔn)確性和人工評估的性能指標(biāo)。

與使用順序“檢索然后生成”管道的傳統(tǒng)檢索增強(qiáng)生成 (RAG) 系統(tǒng)不同，ScholarCopilot 實施了一個統(tǒng)一的迭代框架，該框架根據(jù)不斷發(fā)展的生成上下文動態(tài)確定何時需要檢索。這種方法通過將文本生成與精確的引文檢索無縫集成，代表了 AI 輔助學(xué)術(shù)寫作的重大進(jìn)步。

理解學(xué)術(shù)寫作中的挑戰(zhàn)

學(xué)術(shù)寫作從根本上不同于一般文本生成，因為它對事實準(zhǔn)確性、適當(dāng)歸屬和基于證據(jù)的論證有嚴(yán)格的要求。這些品質(zhì)對當(dāng)前的人工智能系統(tǒng)提出了重大挑戰(zhàn)：

1.引文幻覺：現(xiàn)有的 LLM 經(jīng)常生成聽起來合理但捏造的引文，這使得它們在學(xué)術(shù)工作中不可靠。

2.上下文敏感性：適當(dāng)?shù)囊奈恢眯枰斫獠粩喟l(fā)展的敘述上下文，并確定在哪里需要支持證據(jù)。

3.檢索-生成錯位：傳統(tǒng)的 RAG 系統(tǒng)使用固定的檢索階段，然后進(jìn)行生成，這無法根據(jù)開發(fā)中的內(nèi)容調(diào)整檢索決策。

4.用戶控制：學(xué)術(shù)寫作具有高度的領(lǐng)域特異性，作者需要根據(jù)他們的專業(yè)知識和領(lǐng)域知識來指導(dǎo)引文過程。

這些挑戰(zhàn)突出了當(dāng)前方法的局限性，這些方法通常將引文視為后處理步驟或預(yù)定的檢索階段，而不是寫作過程的組成部分。

ScholarCopilot 框架

ScholarCopilot 通過其代理 RAG 框架，為 AI 輔助學(xué)術(shù)寫作引入了一種根本不同的方法。其關(guān)鍵創(chuàng)新在于其動態(tài)的、上下文感知的引文機(jī)制：

1.動態(tài)引文檢測：

-在文本生成過程中，模型確定何時需要引文
 - 生成特殊的 [RET] 標(biāo)記以指示引文機(jī)會

2. 上下文感知的引文檢索：

? 在生成 [RET] 令牌后，生成暫停

? 令牌之前的上下文被編碼為查詢

? 從學(xué)術(shù)數(shù)據(jù)庫中檢索相關(guān)引文

3. 無縫集成：

? 檢索到的引文信息被整合到文本中

? 生成繼續(xù)，引文格式正確

? 隨著新的引文機(jī)會出現(xiàn)，該過程重復(fù)進(jìn)行

這種統(tǒng)一的框架消除了檢索和生成階段之間的分離，從而實現(xiàn)了更自然和準(zhǔn)確的引文過程，該過程反映了人類研究人員的工作方式。 如圖2所示，ScholarCopilot動態(tài)地交錯生成和檢索，從而創(chuàng)建了更流暢的寫作過程。

工作流程對比圖2：詳細(xì)的工作流程比較，顯示了傳統(tǒng)的RAG（左）如何分離檢索和生成，而ScholarCopilot（右）如何動態(tài)地將它們與可選的用戶細(xì)化集成在一起。

架構(gòu)與實現(xiàn)

ScholarCopilot的架構(gòu)以一個統(tǒng)一的模型為中心，該模型處理文本生成和引文檢索：

1.基礎(chǔ)語言模型：該系統(tǒng)建立在一個70億參數(shù)的LLM之上，該LLM專門為學(xué)術(shù)寫作任務(wù)進(jìn)行了微調(diào)。

2.檢索令牌生成：該模型學(xué)習(xí)在上下文中適當(dāng)?shù)奈恢蒙商厥獾臋z索令牌（[RET]）。

3.密集向量表示：導(dǎo)致檢索令牌的上下文和引文文檔都被編碼為密集向量表示，以進(jìn)行相似性匹配。

4.聯(lián)合優(yōu)化：使用下一個令牌預(yù)測和對比學(xué)習(xí)目標(biāo)的組合，對模型進(jìn)行文本生成質(zhì)量和檢索準(zhǔn)確性的聯(lián)合優(yōu)化。

這種方法的數(shù)學(xué)基礎(chǔ)依賴于將上下文和文檔編碼到共享的嵌入空間中，其中相關(guān)匹配具有高相似度：

sim(q,d)=Eq?Ed∣∣Eq∣∣?∣∣Ed∣∣sim(q,d)=∣∣Eq∣∣?∣∣Ed∣∣Eq?Ed其中，EqEq 表示編碼的查詢（[RET] 之前的上下文），EdEd 表示編碼的引文文檔。 這允許跨大型引文數(shù)據(jù)庫進(jìn)行高效的相似性搜索。

訓(xùn)練數(shù)據(jù)準(zhǔn)備

ScholarCopilot的開發(fā)需要大量的數(shù)據(jù)處理，以創(chuàng)建高質(zhì)量的訓(xùn)練數(shù)據(jù)集：

數(shù)據(jù)準(zhǔn)備流程圖3：ScholarCopilot的數(shù)據(jù)準(zhǔn)備流程，顯示了從arXiv論文到結(jié)構(gòu)化訓(xùn)練數(shù)據(jù)的轉(zhuǎn)換。

數(shù)據(jù)集創(chuàng)建過程包括：

1.來源收集：從arXiv下載了670,000篇計算機(jī)科學(xué)論文，并提取了它們的LaTeX源文件。

2.結(jié)構(gòu)化解析：解析源文件以識別章節(jié)結(jié)構(gòu)、文本內(nèi)容和引文標(biāo)記。

3.引文提取：從論文中提取了1900萬個書目條目。

4.參考文獻(xiàn)匹配：引文與其完整的參考文獻(xiàn)相匹配，從而產(chǎn)生了1000萬個匹配的引文。

5.訓(xùn)練集創(chuàng)建：最終的訓(xùn)練數(shù)據(jù)集包括500,000篇論文，其中包含它們的文本、引文和完整的參考文獻(xiàn)信息。

這個全面的數(shù)據(jù)集使ScholarCopilot能夠?qū)W習(xí)學(xué)術(shù)寫作的模式，包括通常放置引文的位置以及它們與周圍文本的關(guān)系。

用于增強(qiáng)引文檢索的對比學(xué)習(xí)

ScholarCopilot的一項關(guān)鍵技術(shù)創(chuàng)新是它使用對比學(xué)習(xí)來優(yōu)化檢索令牌表示：

對比學(xué)習(xí)框架圖4：ScholarCopilot的對比學(xué)習(xí)框架，用于優(yōu)化查詢上下文和相關(guān)文檔之間的相似性。

對比學(xué)習(xí)方法：

1. 將檢索標(biāo)記之前的內(nèi)容視為查詢

2. 將實際引用的文檔視為正例

3. 將批次中的其他文檔視為負(fù)例

4. 優(yōu)化查詢和正例之間更高的相似度，同時降低與負(fù)例的相似度

對比損失函數(shù)定義為：

Lcnotallow=?log?exp?(sim(q,d+)/τ)∑d∈{d+,d1?,...,dn?}exp?(sim(q,d)/τ)Lcnotallow=?log∑d∈{d+,d1?,...,dn?}exp(sim(q,d)/τ)exp(sim(q,d+)/τ)其中 ττ 是一個溫度參數(shù)，用于控制分布的銳度。這種方法通過教導(dǎo)模型生成具有上下文意義表示的檢索標(biāo)記，從而顯著提高檢索準(zhǔn)確性。

評估與結(jié)果

ScholarCopilot 在檢索準(zhǔn)確性和生成質(zhì)量方面都進(jìn)行了評估，結(jié)果令人印象深刻：

檢索準(zhǔn)確率結(jié)果圖 5：檢索準(zhǔn)確率比較，顯示了 ScholarCopilot 在不同召回率閾值下相對于基線方法的性能。

檢索性能：

? Top-1 檢索準(zhǔn)確率：40.1%（相比之下，E5-Mistral-7B-Instruct 為 15.0%，BM25 為 9.8%）

? Recall@10：64.8%（是同類模型性能的兩倍多）

生成質(zhì)量：

? 總體生成得分：16.2/25（超過了參數(shù)多 10 倍的模型）

? 在五個維度上的評估：相關(guān)性、連貫性、學(xué)術(shù)嚴(yán)謹(jǐn)性、完整性和創(chuàng)新性

這些結(jié)果表明，ScholarCopilot 不僅檢索到更準(zhǔn)確的引文，而且保持了高質(zhì)量的文本生成?？紤]到它優(yōu)于更大的模型，例如 Qwen-2.5-72B-Instruct (15.8/25)，盡管參數(shù)明顯更少，但該系統(tǒng)的性能尤其令人印象深刻。

人工評估和用戶體驗

除了自動化指標(biāo)外，ScholarCopilot 還通過與學(xué)術(shù)研究人員進(jìn)行的用戶研究進(jìn)行了評估：

人工評估結(jié)果圖 6：人工評估結(jié)果，比較了 ScholarCopilot 和 ChatGPT 在多個維度上的表現(xiàn)。

人工評估顯示：

? 100% 的參與者認(rèn)為 ScholarCopilot 的引文質(zhì)量比 ChatGPT“更好”或“好得多”

? 70% 的人認(rèn)為 ScholarCopilot 的整體有用性“更好”或“好得多”

? 60% 的人發(fā)現(xiàn)易用性有所提高

? 70% 的人報告了更好的時間效率

參與者使用 ScholarCopilot 完成了寫作任務(wù)，并使用下圖所示的表格評估了其性能：

用戶研究表格 1

用戶研究表格 2

示例輸出表格

這些結(jié)果證實，ScholarCopilot 為學(xué)術(shù)寫作者提供了切實的益處，尤其是在引文準(zhǔn)確性和管理的關(guān)鍵領(lǐng)域。

影響和未來方向

ScholarCopilot 代表了為學(xué)術(shù)寫作提供可靠的 AI 輔助的重要一步，具有以下幾個重要影響：

1.提高研究效率：通過在保持準(zhǔn)確性的同時自動化引文過程，ScholarCopilot 可以顯著減少研究人員在參考文獻(xiàn)管理上花費(fèi)的時間。

2.學(xué)術(shù)寫作的民主化：該系統(tǒng)可以通過協(xié)助研究人員完成正確引用的技術(shù)方面來幫助降低學(xué)術(shù)出版的門檻。

3.RAG 技術(shù)的進(jìn)步：檢索和生成的統(tǒng)一迭代方法可能會影響其他知識密集型領(lǐng)域未來的發(fā)展。

4.增強(qiáng)用戶控制：可選的用戶改進(jìn)階段允許領(lǐng)域?qū)＜抑笇?dǎo)引文過程，從而保持人類判斷在學(xué)術(shù)寫作中的關(guān)鍵作用。

未來研究方向可能包括：

? 將覆蓋范圍擴(kuò)展到計算機(jī)科學(xué)以外的其他學(xué)科

? 納入更多樣化的引用樣式和格式要求

? 開發(fā)區(qū)分主要來源和次要來源的機(jī)制

? 增強(qiáng)系統(tǒng)識別引文覆蓋范圍差距的能力

結(jié)論

ScholarCopilot 通過重新構(gòu)想引用和文本生成如何集成，引入了人工智能輔助學(xué)術(shù)寫作的范式轉(zhuǎn)變。通過開發(fā)一個統(tǒng)一的框架，該框架動態(tài)地確定何時需要引用，并根據(jù)不斷變化的上下文檢索相關(guān)參考文獻(xiàn)，該系統(tǒng)實現(xiàn)了比傳統(tǒng)方法更高的準(zhǔn)確性。

在自動評估和人工研究中的出色表現(xiàn)證明了這種方法對學(xué)術(shù)研究人員的實際價值。 ScholarCopilot 解決了引文幻覺這一關(guān)鍵挑戰(zhàn)，同時保持了高質(zhì)量的文本生成，甚至優(yōu)于參數(shù)更多的模型。

隨著人工智能越來越多地支持知識工作，像 ScholarCopilot 這樣尊重學(xué)術(shù)寫作的嚴(yán)格標(biāo)準(zhǔn)，同時提高生產(chǎn)力的方法將變得越來越有價值。通過專注于學(xué)術(shù)寫作的特定需求，而不是一般的文本生成，ScholarCopilot 代表了在真正有用的人工智能研究輔助方面邁出的重要一步。

本文轉(zhuǎn)載自??芝士AI吃魚??，作者：芝士AI吃魚