截止目前，o1 等強推理模型的出現(xiàn)證明了 PRMs（過程級獎勵模型）的有效性。

（“幕后功臣” PRMs 負責(zé)評估推理過程中的每一步是否正確和有效，從而引導(dǎo) LLMs 的學(xué)習(xí)方向。)

但關(guān)鍵問題來了：我們?nèi)绾螠?zhǔn)確評估 PRMs 本身的性能？

作為回應(yīng)，復(fù)旦大學(xué)、蘇州大學(xué)，上海AI Lab等聯(lián)合提出了 PRMBench，它包含 6,216 條精心設(shè)計的問題和 83,456 個步驟級標(biāo)簽，用于評測模型細粒度的錯誤檢測能力。

具體而言，目前主流的評估方法往往側(cè)重于最終結(jié)果的正確性，而忽略了對推理過程中細致入微的錯誤類型的識別。例如，一個推理步驟可能存在冗余、部分正確、 甚至完全錯誤等多種狀態(tài)，簡單的“正確/錯誤”標(biāo)簽難以捕捉其復(fù)雜性。

而 PRMBench 提供了一個更全面、更精細化的評估工具，可以更有效地識別 PRMs 的潛在缺陷，促進相關(guān)算法的改進。

實驗發(fā)現(xiàn)，目前 PRMs 在細粒度錯誤檢測上仍有較大提升空間。即使是表現(xiàn)最佳的模型 Gemini-2-Thinking，其 PRMScore 也僅為 68.8，勉強高于隨機猜測的 50.0。

即使是專門在步驟級數(shù)據(jù)上訓(xùn)練過的 PRMs，其表現(xiàn)仍不如優(yōu)秀的閉源通用模型，且多步推理能力專門增強過的模型表現(xiàn)優(yōu)于一般通用模型。

除此之外，研究人員還公布了一些其他發(fā)現(xiàn)和探討。

PRMBench：一次針對PRMs的“全方位體檢”

據(jù)介紹，PRMBench 并非簡單的“升級版”評估數(shù)據(jù)集，而是一套經(jīng)過精心設(shè)計的“體檢方案”，目的是全面考察 PRMs 在不同維度上的能力。

下圖為 PRMBench 的主要結(jié)構(gòu)，左側(cè)部分展示了數(shù)據(jù)整理的流程，右側(cè)部分展示了評估主題的示例以及測試模型的相對性能表。

其主要特點包括：

• 海量且精細的標(biāo)注數(shù)據(jù)：包含 6,216 個精心設(shè)計的問題，并包含 83,456 個步驟級別的標(biāo)簽，確保評估的深度和廣度。
• 多維度、多層次的評估體系：從簡潔性 (Simplicity)、合理性 (Soundness) 和敏感性 (Sensitivity) 三個主要維度出發(fā)，進一步細分為九個子類別，例如非冗余性、非循環(huán)邏輯、評價合理性、步驟一致性、領(lǐng)域一致性、置信度不變性、前提條件敏感性、 欺騙抵抗和一題多解一致性，力求全面覆蓋PRMs可能遇到的挑戰(zhàn)。
• 揭示現(xiàn)有 PRMs 的“盲區(qū)”：研究團隊對 15 個代表性模型進行了廣泛的實驗，包括開源 PRMs 以及將強力通用語言模型提示作為 Critic Model 的模型。實驗結(jié)果令人驚訝，也引人深思。

具體來說，研究的主要發(fā)現(xiàn)如下：

1、整體表現(xiàn)堪憂。即使是表現(xiàn)最佳的模型 Gemini-2-Thinking，其 PRMScore 也僅為 68.8，勉強高于隨機猜測的 50.0。這表明，即使是最先進的 PRMs，在多步過程評估中仍然有巨大的提升空間。

2、開源 PRMs 表現(xiàn)更弱。開源 PRMs 的平均 PRMScore 更低至 50.1，部分模型甚至不如隨機猜測，揭示了其可靠性和潛在訓(xùn)練偏差的問題。

3、“簡潔性”成最大挑戰(zhàn)。在 “簡潔性” 維度上，即使是表現(xiàn)相對較好的 ReasonEval-34B，其 PRMScore 也驟降至 51.5，表明 PRMs 在識別推理過程中的冗余步驟方面能力不足。

4、 “陽性偏好”現(xiàn)象顯著。部分模型，例如 ReasonEval-7B 和 RLHFlow-DeepSeek-8B，在評估中表現(xiàn)出顯著的“陽性偏好”，難以區(qū)分正確和錯誤的步驟。

5、數(shù)據(jù)驅(qū)動的洞察。研究發(fā)現(xiàn)，錯誤步驟出現(xiàn)的位置也會影響PRMs的判斷準(zhǔn)確率?？偟膩碚f，隨著錯誤步驟位置的后移，PRMs 的表現(xiàn)會逐漸提升。

具體提出過程

下面介紹一下具體研究過程。

提出主要問題

在一項需要舉出反例的證明題實踐中，研究人員觀察到一個有趣的現(xiàn)象：

即使大語言模型 (o1) 自身意識到當(dāng)前推理過程存在一些問題，仍然會產(chǎn)生錯誤的推理步驟。

更令人擔(dān)憂的是， 當(dāng)調(diào)用現(xiàn)有的 PRMs 去檢測剛剛 o1 生成的推理過程時，結(jié)果卻發(fā)現(xiàn)多數(shù) PRMs 無法檢測出這種細粒度的錯誤。

這一發(fā)現(xiàn)引出了一個關(guān)鍵問題：當(dāng)前的 PRMs 是否具備檢測推理過程中細粒度錯誤的能力？

下圖為，當(dāng)詢問模型一道拉格朗日中值定理相關(guān)問題時，o1 和 PRMs 可能會產(chǎn)生的錯誤。

然而，現(xiàn)有針對 PRMs 評測而設(shè)計的 benchmark 大多僅僅關(guān)注步驟評判的對錯，而忽視步驟評判的錯誤類型， 缺乏對錯誤類型的細致分類。

這也就意味著，目前缺少這樣能夠評測 PRMs 在細粒度錯誤上表現(xiàn)的綜合 benchmark。

而這，正是研究人員推出 PRMBench 這一精細化基準(zhǔn)的根本原因。

他們希望通過 PRMBench，打破現(xiàn)有評估的局限，真正遴選出能夠有效識別細粒度錯誤的“優(yōu)秀” PRM。

下圖為 PRMBench 與其他數(shù)據(jù)集對比。

PRMBench構(gòu)建

如下所示，PRMBench 包含三大評測主題：簡潔性，合理性和敏感性。

• 數(shù)據(jù)來源：基于 PRM800K 構(gòu)建，首先篩選出其完全正確的問題、答案以及解題步驟作為元數(shù)據(jù)。
• 錯誤引入：針對多數(shù)評測主題（前8個）使用 LLMs（特別是 GPT-4o）將各種細粒度的錯誤引入到完全正確的解題推理步驟中。對于一題多解的情況，則使用多步推理增強過的語言模型為同一問題生成不同的正確解法及其推理步驟。
• 人工驗證：嚴格的人工審查，以確保引入錯誤的質(zhì)量和相關(guān)性。
• 數(shù)據(jù)集統(tǒng)計：包含 6,216 個精心設(shè)計的問題，帶有 83,456 個步驟級別的標(biāo)簽。
• 評估對象：分為三個主要領(lǐng)域。簡潔性評估冗余檢測能力（非冗余性、非循環(huán)邏輯）；合理性評估PRM產(chǎn)生獎勵的準(zhǔn)確性和正確性（評價合理性、步驟一致性、領(lǐng)域一致性、 置信度不變性）；敏感性評估對變化和誤導(dǎo)性信息的魯棒性（前提條件敏感性、欺騙抵抗、多解一致性）。

實驗與結(jié)果

研究人員測試了 15 個模型，包括開源 PRMs (Skywork-PRM, Llemma-PRM, MATHMinos-Mistral,MathShepherd-Mistral, RLHFlow-PRM) 和提示為 Critic Models 的優(yōu)秀閉源語言模型 (GPT-4o, o1-mini，Gemini-2)。

評估指標(biāo)主要為：

• 負 F1 分數(shù) (Negative F1 Score)：評估錯誤檢測性能的主要指標(biāo)。
• PRMScore：將 F1 和負 F1 相結(jié)合的統(tǒng)一、標(biāo)準(zhǔn)化的分數(shù)，以反映整體能力。

可以看出，整體而言 PRMs 在多步過程評估中表現(xiàn)出有限的能力，其得分通常僅略高于隨機猜測。

同時， 開源 PRMs 的表現(xiàn)通常不如將強力通用語言模型（如o1, Gemini-thinking等）提示為 Critic Model 的表現(xiàn)更好。

而且相較于其他評測主題，檢測冗余 (簡潔性) 被證明對 PRMs 來說尤其困難。

另外，通過 PRMBench 下模型對于正確標(biāo)簽測試樣例（陽性數(shù)據(jù)）和錯誤標(biāo)簽測試樣例（陰性數(shù)據(jù)）的得分對比及相似度來看。

許多 PRMs 表現(xiàn)出對正確標(biāo)簽的偏好，難以正確識別錯誤標(biāo)簽測試樣例（陰性數(shù)據(jù)）。

且從推理步驟位于推理鏈中不同位置對模型 PRMScore 的影響來看，PRMs 的性能往往會隨著推理步驟位于推理鏈中的位置逐漸靠后而提高。

最后從不同 Few shot 數(shù)目對于提示為 Critic Model 的通用語言模型表現(xiàn)影響來看，少樣本 ICL 的影響有限。

在 reward 過程中使用不同數(shù)量示例的 In-Context Learning 對閉源模型的性能影響不大。

小結(jié)一下，PRMBench 的發(fā)布，提醒我們重新審視現(xiàn)有 PRMs 的能力邊界。

按照研究團隊的說法，“我們希望 PRMBench 能夠成為推動 PRM 評估和發(fā)展研究的堅實基石”。

更多細節(jié)歡迎查閱原論文。

論文鏈接：https://arxiv.org/abs/2501.03124
項目主頁：https://prmbench.github.io/
Code:https://github.com/ssmisya/PRMBench
Data:https://huggingface.co/datasets/hitsmy/PRMBench_Preview