01、概述 

在醫(yī)學(xué)領(lǐng)域，信息的精確性、可靠性和安全性至關(guān)重要。隨著人工智能（AI）技術(shù)的發(fā)展，大型語(yǔ)言模型（LLM）如GPT-3和BERT為醫(yī)學(xué)領(lǐng)域帶來(lái)了新的機(jī)遇。這些模型在語(yǔ)言處理方面的能力，使其在醫(yī)學(xué)應(yīng)用中顯示出巨大潛力，包括知識(shí)檢索、臨床決策支持和患者分流。

多醫(yī)學(xué)問(wèn)答：醫(yī)學(xué)問(wèn)題回答基準(zhǔn)

為了評(píng)估LLM在醫(yī)學(xué)背景下的表現(xiàn)，研究人員策劃了多醫(yī)學(xué)問(wèn)答（MultiMedQA），這是一個(gè)結(jié)合了七個(gè)醫(yī)學(xué)問(wèn)題回答數(shù)據(jù)集的基準(zhǔn)。這個(gè)基準(zhǔn)包括：

• MedQA（USMLE風(fēng)格問(wèn)題）
• MedMCQA
• PubMedQA
• MMLU臨床主題的多項(xiàng)選擇數(shù)據(jù)集
• HealthSearchQA
• LiveQA
• MedicationQA

多醫(yī)學(xué)問(wèn)答允許研究人員從多個(gè)角度評(píng)估LLM，包括：

• 事實(shí)性：答案與當(dāng)前醫(yī)學(xué)共識(shí)的一致性
• 理解力：理解和解釋醫(yī)學(xué)信息的能力
• 推理能力：應(yīng)用醫(yī)學(xué)知識(shí)以得出結(jié)論的能力
• 風(fēng)險(xiǎn)和偏見(jiàn)：答案誤導(dǎo)或延續(xù)有害偏見(jiàn)的潛力

02、PaLM和Flan-PaLM：基線模型 

研究中使用了谷歌的Pathways Language Model（PaLM）及其經(jīng)過(guò)指令調(diào)整的變體Flan-PaLM作為基線模型。

• PaLM：在大量文本和代碼數(shù)據(jù)集上訓(xùn)練，展示了在各種推理任務(wù)上的卓越表現(xiàn)
• Flan-PaLM：進(jìn)一步使用指令和示例進(jìn)行微調(diào)，在多個(gè)基準(zhǔn)測(cè)試中取得了最先進(jìn)的結(jié)果

研究人員在多醫(yī)學(xué)問(wèn)答上測(cè)試了這些模型，使用了多種提示策略，如少量樣本、思維鏈（COT）和自我一致性提示。值得注意的是，F(xiàn)lan-PaLM在所有多項(xiàng)選擇數(shù)據(jù)集上都取得了最先進(jìn)的準(zhǔn)確性，甚至在某些方面超過(guò)了人類的表現(xiàn)。

03、解決Flan-PaLM的局限性

指令提示調(diào)整和Med-PaLM

盡管Flan-PaLM在多項(xiàng)選擇問(wèn)題上表現(xiàn)強(qiáng)勁，但在回答消費(fèi)者醫(yī)學(xué)問(wèn)題時(shí)顯示出顯著的局限性，這突顯了與醫(yī)學(xué)領(lǐng)域進(jìn)一步對(duì)齊的必要性。為此，研究人員引入了指令提示調(diào)整，這是一種新穎的方法，用于使LLM適應(yīng)特定領(lǐng)域，如醫(yī)學(xué)。

這種技術(shù)建立在提示調(diào)整的基礎(chǔ)上，這是一種參數(shù)高效的方法，用于使LLM適應(yīng)下游任務(wù)。指令提示調(diào)整涉及在輸入前添加一個(gè)學(xué)習(xí)到的軟提示，后跟硬提示（指令和示例）。這種組合引導(dǎo)模型生成更具體于領(lǐng)域的適當(dāng)反應(yīng)。

通過(guò)將指令提示調(diào)整應(yīng)用于Flan-PaLM，并結(jié)合臨床醫(yī)生精心策劃的示例和指令，研究人員創(chuàng)建了Med-PaLM。這個(gè)新模型專門針對(duì)醫(yī)學(xué)領(lǐng)域設(shè)計(jì)，展現(xiàn)了顯著的改進(jìn)：

• 科學(xué)依據(jù)：使答案與當(dāng)前醫(yī)學(xué)共識(shí)保持一致
• 降低風(fēng)險(xiǎn)：最小化有害建議的潛力
• 減少偏見(jiàn)：減少包含偏見(jiàn)信息
• 人類評(píng)估：將Med-PaLM與臨床醫(yī)生進(jìn)行比較

為了評(píng)估Med-PaLM在現(xiàn)實(shí)世界場(chǎng)景中的表現(xiàn)，研究人員進(jìn)行了涉及臨床醫(yī)生和普通用戶的人類評(píng)估。他們比較了Med-PaLM和Flan-PaLM生成的答案與臨床醫(yī)生對(duì)消費(fèi)者醫(yī)學(xué)問(wèn)題提供的答案。

04、性能評(píng)估結(jié)果

臨床醫(yī)生評(píng)估：Med-PaLM的答案在所有評(píng)估方面都明顯優(yōu)于Flan-PaLM，包括科學(xué)準(zhǔn)確性、潛在風(fēng)險(xiǎn)、偏見(jiàn)和完整性……然而，臨床醫(yī)生生成的答案總體上仍然更優(yōu)越。

普通用戶評(píng)估：與Flan-PaLM相比，Med-PaLM被認(rèn)為更有幫助，更相關(guān)于用戶意圖，盡管它仍未達(dá)到臨床醫(yī)生的表現(xiàn)。

關(guān)鍵觀察

規(guī)模提升性能：像PaLM 540B這樣的大型語(yǔ)言模型一貫優(yōu)于小型模型，這表明它們?cè)诰幋a和利用醫(yī)學(xué)知識(shí)方面具有固有能力。

指令提示調(diào)整至關(guān)重要：這種技術(shù)對(duì)于將LLM與醫(yī)學(xué)領(lǐng)域?qū)R至關(guān)重要，與通用指令調(diào)整相比，它產(chǎn)生了更安全、更準(zhǔn)確、更少偏見(jiàn)的回答。

未來(lái)方向和挑戰(zhàn)

這項(xiàng)研究突出了像Med-PaLM這樣的LLM在革新醫(yī)學(xué)信息獲取和利用方面的潛力。然而，仍然存在重大挑戰(zhàn)：

• 擴(kuò)展多醫(yī)學(xué)問(wèn)答：包括更多樣化的醫(yī)學(xué)領(lǐng)域、語(yǔ)言和任務(wù)，更好地反映現(xiàn)實(shí)世界的臨床工作流程。
• 提升LLM能力：改進(jìn)醫(yī)學(xué)文獻(xiàn)的基礎(chǔ)，提高不確定性溝通、多語(yǔ)言支持和安全對(duì)齊。

05、結(jié)語(yǔ)

Med-PaLM的發(fā)展展示了LLM在協(xié)助醫(yī)學(xué)問(wèn)題回答方面的潛力。盡管挑戰(zhàn)依然存在，但這項(xiàng)研究為醫(yī)學(xué)AI未來(lái)的創(chuàng)新鋪平了道路，最終目標(biāo)是創(chuàng)造更安全、更易于訪問(wèn)、更公平的醫(yī)療解決方案。持續(xù)的研究、利益相關(guān)者之間的合作以及對(duì)倫理影響的仔細(xì)考慮，對(duì)于實(shí)現(xiàn)LLM在醫(yī)學(xué)領(lǐng)域的全部潛力至關(guān)重要。

?

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯  作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/vbUYFXw-8r-lSBCYDHzF2w??