01、概述

近年來(lái)，人工智能在醫(yī)療領(lǐng)域的應(yīng)用迎來(lái)了新的突破。傳統(tǒng)上，高性能的專(zhuān)業(yè)領(lǐng)域模型需要大量的領(lǐng)域特定預(yù)訓(xùn)練，例如PubMedBERT和BioGPT。然而，隨著GPT-4等通用大模型的崛起，這一模式正在被打破。尤其是像Medprompt這樣的運(yùn)行時(shí)引導(dǎo)策略（run-time steering），在無(wú)需重新訓(xùn)練模型的情況下，就能讓通用模型在特定領(lǐng)域內(nèi)達(dá)到媲美甚至超越專(zhuān)業(yè)模型的表現(xiàn)。

本文將帶你深入了解Medprompt及其背后的運(yùn)行機(jī)制，同時(shí)揭示OpenAI最新的o1-preview模型如何以“推理原生”的全新設(shè)計(jì)理念，推動(dòng)AI在醫(yī)療領(lǐng)域的表現(xiàn)攀上新的高峰。

02、從專(zhuān)業(yè)到通用：大模型的范式轉(zhuǎn)變

傳統(tǒng)的領(lǐng)域特定模型：精準(zhǔn)但局限

在過(guò)去，為了在醫(yī)學(xué)等高專(zhuān)業(yè)性領(lǐng)域中取得優(yōu)異表現(xiàn)，研究人員傾向于開(kāi)發(fā)領(lǐng)域特定的語(yǔ)言模型。這些模型通過(guò)大量醫(yī)學(xué)文獻(xiàn)的預(yù)訓(xùn)練，能夠很好地理解專(zhuān)業(yè)術(shù)語(yǔ)和上下文。例如：

• PubMedBERT：專(zhuān)為生物醫(yī)學(xué)文本設(shè)計(jì)，在PubMed數(shù)據(jù)上預(yù)訓(xùn)練。
• BioGPT：專(zhuān)注于生命科學(xué)領(lǐng)域，為學(xué)術(shù)和臨床任務(wù)提供支持。

雖然這些模型在各自的領(lǐng)域表現(xiàn)優(yōu)異，但也存在明顯的缺陷：訓(xùn)練和更新成本高，適應(yīng)新任務(wù)的靈活性差。

通用模型的崛起：靈活與強(qiáng)大兼?zhèn)?/h4>

隨著GPT-4等通用大模型的出現(xiàn)，情況發(fā)生了改變。這些模型在廣泛的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，展現(xiàn)出強(qiáng)大的跨領(lǐng)域理解能力。值得注意的是，GPT-4在醫(yī)學(xué)考試（如USMLE）中已超過(guò)許多專(zhuān)門(mén)模型的表現(xiàn)，這表明通用模型能夠在保持靈活性的同時(shí)，提供高水平的專(zhuān)業(yè)能力。

03、Medprompt：提升通用模型的專(zhuān)業(yè)表現(xiàn)

在這個(gè)背景下，Medprompt應(yīng)運(yùn)而生。作為一種運(yùn)行時(shí)引導(dǎo)策略，Medprompt通過(guò)動(dòng)態(tài)提示增強(qiáng)了通用模型在醫(yī)療任務(wù)中的表現(xiàn)。

運(yùn)行機(jī)制：如何在推理時(shí)提升性能？

Medprompt的核心在于三大技術(shù)：

• 鏈?zhǔn)酵评?/strong>（Chain-of-Thought, CoT）：通過(guò)引導(dǎo)模型逐步分解問(wèn)題，幫助其進(jìn)行邏輯推理。
• 動(dòng)態(tài)少樣本提示（Few-shot prompting）：在推理過(guò)程中，根據(jù)任務(wù)動(dòng)態(tài)選擇最相關(guān)的示例。
• 投票集成（Choice-shuffle ensembling）：通過(guò)多次運(yùn)行模型并結(jié)合多數(shù)投票結(jié)果，顯著提高預(yù)測(cè)準(zhǔn)確性。

這種方法有效地縮小了通用模型與領(lǐng)域特定模型之間的差距。例如，在MedQA等醫(yī)學(xué)基準(zhǔn)測(cè)試中，Medprompt將誤差率降低了近50%，而這一切無(wú)需對(duì)模型進(jìn)行任何微調(diào)。

突破瓶頸：結(jié)合外部資源與元推理

為了進(jìn)一步提升表現(xiàn)，Medprompt還引入了檢索增強(qiáng)生成（RAG），確保模型在推理時(shí)能實(shí)時(shí)訪問(wèn)最新的醫(yī)學(xué)信息。同時(shí)，通過(guò)元推理（Metareasoning），系統(tǒng)能更智能地分配計(jì)算資源，優(yōu)化推理過(guò)程。

04、o1-preview模型：AI推理的新高度

在探索如何進(jìn)一步提升大模型性能的過(guò)程中，OpenAI推出了o1-preview模型，這一新模型徹底改變了傳統(tǒng)的推理方式。

推理原生：從根本上優(yōu)化推理過(guò)程

與傳統(tǒng)模型需要依賴(lài)外部提示不同，o1-preview在訓(xùn)練階段就內(nèi)嵌了推理能力。換句話說(shuō)，它是“推理原生”的。這使得模型能夠在推理過(guò)程中自動(dòng)分解問(wèn)題并提供逐步答案，而無(wú)需依賴(lài)Medprompt這樣的提示策略。

研究顯示，o1-preview在多個(gè)醫(yī)學(xué)基準(zhǔn)測(cè)試中超越了GPT-4，即便是后者在Medprompt的增強(qiáng)下也難以匹敵。這種內(nèi)置推理能力使得模型在處理復(fù)雜、多語(yǔ)言任務(wù)（如JMLE-2024）時(shí)表現(xiàn)尤為突出。

成本與性能的權(quán)衡

雖然o1-preview在準(zhǔn)確性上達(dá)到了新的巔峰，但其運(yùn)行成本相對(duì)較高。這就引出了一個(gè)重要的策略性選擇：成本與性能的平衡。在某些任務(wù)中，GPT-4o（優(yōu)化版GPT-4）可能以更低的成本提供足夠好的性能。

05、新挑戰(zhàn)與未來(lái)展望

隨著o1-preview在現(xiàn)有基準(zhǔn)測(cè)試中接近性能天花板，研究人員呼吁開(kāi)發(fā)更具挑戰(zhàn)性的評(píng)估標(biāo)準(zhǔn)。這不僅有助于進(jìn)一步探索模型的能力，也為推動(dòng)AI在真實(shí)世界醫(yī)療場(chǎng)景中的應(yīng)用提供了方向。

以下是值得關(guān)注的未來(lái)方向：

• 多模態(tài)數(shù)據(jù)整合：結(jié)合文本、圖像、基因序列等多模態(tài)信息，進(jìn)一步提升模型在臨床診斷中的應(yīng)用潛力。
• 動(dòng)態(tài)任務(wù)適應(yīng)：開(kāi)發(fā)更智能的推理框架，讓模型能在不同醫(yī)療任務(wù)之間自由切換。
• 實(shí)時(shí)學(xué)習(xí)與更新：確保模型能快速吸收新知識(shí)，應(yīng)對(duì)快速變化的醫(yī)學(xué)領(lǐng)域。

05、結(jié)語(yǔ)

從Medprompt到o1-preview，人工智能在醫(yī)療領(lǐng)域的進(jìn)步令人振奮。它們不僅展現(xiàn)了大模型在專(zhuān)業(yè)領(lǐng)域的強(qiáng)大潛力，更為解決高風(fēng)險(xiǎn)任務(wù)中的關(guān)鍵問(wèn)題提供了新思路。隨著研究的深入，AI有望在醫(yī)療領(lǐng)域扮演越來(lái)越重要的角色，為患者、醫(yī)生和整個(gè)醫(yī)療行業(yè)帶來(lái)深遠(yuǎn)影響。

參考：

1. ??https://www.microsoft.com/en-us/research/blog/advances-in-run-time-strategies-for-next-generation-foundation-models/??
2. ??https://arxiv.org/abs/2411.03590??

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/oegITaLxdiPFpciTvtQXBw??