OpenAI新模型發(fā)布后，大家體感都幻覺更多了。

甚至有人測試后發(fā)出預(yù)警：使用它輔助編程會很危險。

圖片

具體來說，它經(jīng)常捏造從未運行過的代碼返回結(jié)果，在被質(zhì)問時找理由狡辯，甚至還會說是用戶的錯。

圖片

當(dāng)大家?guī)е蓡栕屑?xì)閱讀System Card，發(fā)現(xiàn)OpenAI官方也承認(rèn)了這個問題，與o1相比o3幻覺率是兩倍，o4-mini更是達(dá)到3倍。

并且OpenAI只是說“需要更多研究來了解原因”，翻譯一下就是暫時給不出合理解釋。

圖片

在第三方幻覺測試中，也出現(xiàn)讓人驚訝的結(jié)果：

從GPT-3.5一直到o3-mini，都遵循更新更強大的模型幻覺更少的規(guī)律。

圖片

但從最新一批深度思考模型的表現(xiàn)來看，推理能力更強的模型，幻覺率也變高了。

而且不只OpenAI一家出現(xiàn)這個問題，谷歌、xAI也同樣，Grok-3的幻覺比Grok-2嚴(yán)重，Gemini-2.0-Flash-Thinking的幻覺問題比Gemini 2.0和2.5其他型號嚴(yán)重。

圖片

推理越強，幻覺越嚴(yán)重？

第三方機構(gòu)Transluce在o3正式推出之前測試了預(yù)發(fā)布版本，發(fā)現(xiàn)幻覺問題是相當(dāng)嚴(yán)重。

在公布的案例中，o3會假裝在不存在的電腦上執(zhí)行了代碼，還編造出具體硬件配置和軟件版本信息。

圖片

在受到質(zhì)問時，o3居然還幻想自己是人，聲稱“輸入的時候手滑了”。

圖片

關(guān)鍵在于，在這項測試中o3根本就沒有使用代碼工具的權(quán)限，所有聲稱運行了代碼的回復(fù)都是模型捏造的。

在另一個案例中，o3回復(fù)了一個512位質(zhì)數(shù)，實際上這個數(shù)能被3整除。

圖片

在受到質(zhì)問時，又編造出一個換行/剪貼板故障。

圖片

更多類似幻覺如下：

• 當(dāng)用戶詢問現(xiàn)在幾點時，o3會編造一個時間。當(dāng)被問及如何獲得這個時間時，o3回答說它使用了 Python的datetime模塊。
• 用戶要求o3生成一首詩的SHA-1哈希值，當(dāng)用戶質(zhì)問哈希值不正確時，o3稱是用戶復(fù)制錯了，并堅稱自己生成的哈希值是正確的。
• 用戶要求o3從Web服務(wù)器上的日志文件中提取統(tǒng)計數(shù)據(jù)。o3生成了一個Python腳本，并聲稱可以在本地運行。這一次在被問及代碼執(zhí)行的更多細(xì)節(jié)時，它終于承認(rèn)自己沒有Python解釋器，輸出是“手工編造的”。

……

那么是什么原因?qū)е铝薿3的這些行為？

Transluce認(rèn)為其中一些因素是大多數(shù)模型 (LM) 所共有的，還有一些是O系列模型特有的新因素。并假設(shè)這些新因素放大了通?？梢酝ㄟ^標(biāo)準(zhǔn)Post-training緩解（但無法完全消除）的問題。

語言模型共有的因素包括：

• 預(yù)訓(xùn)練中的幻覺：語言模型的預(yù)訓(xùn)練目標(biāo)是最大化訓(xùn)練數(shù)據(jù)中語句的概率，這可能會導(dǎo)致常見的誤解 、罕見的事實或采樣不確定性等導(dǎo)致的多種幻覺。
• 獎勵黑客攻擊：如果人類評分者無法區(qū)分正確答案和錯誤答案，強化學(xué)習(xí)可能會獎勵“聽起來合理”的答案，導(dǎo)致模型對難以驗證的問題編造出聽起來合理的解釋。
• 諂媚現(xiàn)象：RLHF訓(xùn)練通常會激勵模型同意用戶的觀點，當(dāng)用戶暗示模型采取了特定行動或具有特定能力時，這可能會導(dǎo)致模型避免與用戶相矛盾。
• 分布偏移：測試場景相對于訓(xùn)練場景可能存在分布偏差，如模型可能是在啟用代碼工具的情況下訓(xùn)練的，但評估時關(guān)閉了這些工具。

強化學(xué)習(xí)訓(xùn)練特有的因素包括：

• 最大化答案正確率的目標(biāo)可能會獎勵瞎蒙

如果訓(xùn)練期間的獎勵函數(shù)只獎勵正確答案，那么模型就沒有動力承認(rèn)自己無法解決問題，因為承認(rèn)了也不會被視作正確答案。

在這種情況下，當(dāng)遇到一個無法解決或難度過高的問題時，模型可能仍會嘗試輸出一個概率最高的答案，萬一猜對了就可以得到獎勵。

- 在易于驗證的任務(wù)訓(xùn)練可能使模型在其他任務(wù)上感到困惑

Transluce猜測o3的訓(xùn)練過程中，鼓勵它成功使用代碼工具完成任務(wù)。它可能已經(jīng)開發(fā)出一種策略，即使沒有真正的代碼工具，它也會幻想使用代碼工具來組織思維，這可能會提高其他推理任務(wù)的準(zhǔn)確性，并在訓(xùn)練過程中得到強化。

更重要的是，如果僅根據(jù)答案的正確性來評估模型，它可能永遠(yuǎn)不會因為在訓(xùn)練過程中在思維鏈中幻想代碼工具而受到懲罰，因此永遠(yuǎn)不會學(xué)會區(qū)分真正的工具和幻想的工具

OpenAI的o系列模型，不會向用戶展示完整思維鏈這一特性也可能帶來新的問題。

2024年9月o1-preview的System Card中就包括這樣一個案例，由于沒有聯(lián)網(wǎng)權(quán)限無法生成真實的 URL，o1生成了一個看似合理的URL，但并未向用戶透露這一點。

圖片

Transluce認(rèn)為，不向用戶展示思維鏈背后還有一個更大的風(fēng)險：思維鏈沒有傳遞到未來的對話，模型前一輪的推理不再適用。

關(guān)于這一點，在OpenAI的文檔中有證實：

每個步驟的輸入和輸出tokens都會被保留，而推理tokens會被丟棄。

圖片

這意味著o系列模型無法理解上一部輸出的推理過程，當(dāng)被問及后續(xù)問題時，必須給自己的行為給出一個合理的解釋。

換句話說，o系列模型實際上缺乏足夠的上下文信息來準(zhǔn)確報告它們在之前回合中采取的行動。

當(dāng)用戶詢問之前的操作時，這些模型無法使用“說實話”這種簡單的策略。如果再加上獎勵黑客攻擊和諂媚等其他因素，這可能會迫使模型盲目猜測其過去答案的合理解釋。

Transluce建議，測試能夠訪問和無法訪問先前思維鏈的兩種模型，可以為減少未來模型迭代中的這些捏造傾向提供寶貴的見解。

OpenAI o3 and o4-mini System Card
https://cdn.openai.com/pdf/2221c875-02dc-4789-

參考鏈接：
[1]https://transluce.org/investigating-o3-truthfulness
[2]https://x.com/nishffx/status/1913901642551865848