難倒吳恩達的LLM評估，有解嗎？
吳恩達提出LLM-as-a-Judge的幾點困境
吳恩達老師提出了大語言模型評估的兩種主要類型
- 是非性評估（具備明確的非對即錯的響應(yīng)）
- 質(zhì)量性評估（結(jié)果只存在好壞程度的標準）
基于以上兩類的評估類型，吳恩達提出了使用如下幾點困境。
創(chuàng)建用于測量LLM的有標記的測試集成本高昂
在評估LLM性能時，創(chuàng)建一個有標記的測試集是非常必要的。然而，手動標記數(shù)據(jù)集不僅耗時，而且成本高昂。這對資源有限的團隊來說是一個巨大的挑戰(zhàn)。
人類專家來評估改進不切實際，高級的LLM評估改進可靠性不夠
雖然人類專家可以提供高質(zhì)量的評估，但在實際操作中，這種方法并不可行。主要原因是專家資源稀缺且昂貴。另一方面，使用高級的LLM進行評估雖然可以降低成本，但其評估結(jié)果存在噪聲，導(dǎo)致其可靠性仍然存在問題。
實施評估產(chǎn)生的額外token成本及時間成本
每次評估都需要額外消耗大量的計算資源，特別是在處理大規(guī)模數(shù)據(jù)時。這不僅增加了時間成本，還帶來了額外的token成本。這對需要頻繁評估的團隊來說是一個不小的負擔。
LangSmith的工程化解法
LangSmith以few-shot和持續(xù)于人類對齊作為其理論根基提出了一個新穎的工程化解決方案。即將人類對 LLM-as-a-Judge 輸出的糾正存儲為 few-shot 示例，然后在未來的迭代中將其反饋到提示中。
其實現(xiàn)的的具體邏輯如下：
基于few-shot提升評估正確率
首先，LangSmith提出了一種基于few-shot學(xué)習(xí)的方法來提升LLM評估的正確率。通過將少量示例作為輸入，模型可以更好地理解評估標準，從而提高評估的準確性。
Aligning LLM-as-a-Judge with Human Preferences
使用反饋收集作為一種程序化地將LLM評估與人類偏好對齊
其次，LangSmith還引入了反饋收集機制，通過程序化地將LLM評估與人類偏好對齊。具體來說，用戶可以對LLM的評估進行修正，這些修正將作為示例反饋給模型，以便在未來的評估中參考。
LangSmith自動化反饋收集流程，并自動化實現(xiàn)持續(xù)改進
為了簡化操作，LangSmith實現(xiàn)了自動化反饋收集流程。用戶在應(yīng)用中對評估結(jié)果進行修正后，這些修正將自動存儲并用于未來的評估。這種持續(xù)改進的機制使得評估過程更加高效和準確。
OpenAI的前沿研究-CriticGPT
OpenAI也一直在探索LLM評估的新方法。他們開發(fā)了一種名為CriticGPT的模型，旨在讓AI成為更嚴苛的評判者，其思路是訓(xùn)練一個專門挑錯的模型：
訓(xùn)練模型識別錯誤
- OpenAI讓人類標注員在ChatGPT生成的代碼里故意植入一些微妙的bug。
- 標注員扮演代碼審查員的角色，寫下他們對這些bug的評論。
- 用這些數(shù)據(jù)來訓(xùn)練CriticGPT，讓它學(xué)會如何發(fā)現(xiàn)和指出代碼中的問題。
對抗訓(xùn)練提升模型能力
在訓(xùn)練過程中，標注員會插入一些隱蔽的bug，并驗證這些bug是否能夠騙過當前版本的CriticGPT。通過這種方法，CriticGPT被迫不斷進化，以便發(fā)現(xiàn)越來越隱蔽的問題。
強制采樣束搜索（FSBS）
CriticGPT使用了一種稱為強制采樣束搜索（FSBS）的技術(shù)，這種技術(shù)可以在生成評論時保持全面性，同時減少“幻覺”和“雞蛋里挑骨頭”現(xiàn)象。這使得CriticGPT能夠生成更為準確和有用的評論。
具體來說，F(xiàn)SBS會強制模型生成多個不同的評論片段，用獎勵模型對這些片段進行評分，最后根據(jù)評分和一個長度修正因子來選擇最佳的評論組合。
通過調(diào)整長度修正因子，可以在評論的全面性和準確性之間找到最佳平衡點，既不會錯過重要問題，又不會過度挑剔。
結(jié)論
評估大規(guī)模語言模型的輸出質(zhì)量是一個復(fù)雜且重要的任務(wù)。LLM-as-a-Judge概念雖然有其困境，但通過LangSmith和OpenAI的前沿研究，我們看到了有效解決這些問題的希望。
- LangSmith通過few-shot學(xué)習(xí)和自動化反饋收集機制，顯著提升了評估的準確性和效率。
- OpenAI的CriticGPT則通過不斷進化和創(chuàng)新技術(shù)，幫助人類標注員更好地識別和糾正錯誤。
這些進展不僅推動了AI評估技術(shù)的發(fā)展，也為未來的AI應(yīng)用提供了堅實的基礎(chǔ)。
