摘要

自ChatGPT和GPT-4發(fā)布以來(lái)，大型語(yǔ)言模型（LLMs）和多模態(tài)大型語(yǔ)言模型（MLLMs）因其在理解、推理和生成方面的卓越能力而受到廣泛關(guān)注，為將人工智能整合到醫(yī)學(xué)中引入了變革性范式。本調(diào)查全面概述了LLMs和MLLMs在醫(yī)學(xué)中的發(fā)展、原理、應(yīng)用場(chǎng)景、挑戰(zhàn)和未來(lái)方向。具體而言，它首先考察了范式轉(zhuǎn)變，追溯了從傳統(tǒng)模型到LLMs和MLLMs的轉(zhuǎn)變，并強(qiáng)調(diào)了這些LLMs和MLLMs在醫(yī)學(xué)應(yīng)用中的獨(dú)特優(yōu)勢(shì)。接下來(lái)，調(diào)查回顧了現(xiàn)有的醫(yī)學(xué)LLMs和MLLMs，以清晰系統(tǒng)的方式提供了關(guān)于其構(gòu)建和評(píng)估的詳細(xì)指導(dǎo)。隨后，為了強(qiáng)調(diào)LLMs和MLLMs在醫(yī)療保健中的重大價(jià)值，調(diào)查探討了該領(lǐng)域的五個(gè)有前景的應(yīng)用。最終，該調(diào)查探討了醫(yī)學(xué)大型語(yǔ)言模型（LLMs）和多模態(tài)大語(yǔ)言模型（MLLMs）所面臨的挑戰(zhàn)，并提出了將其整合進(jìn)醫(yī)學(xué)領(lǐng)域的實(shí)用策略和未來(lái)方向?？傊?，本調(diào)查全面分析了醫(yī)學(xué)LLMs和MLLMs的技術(shù)方法和實(shí)際臨床應(yīng)用，旨在彌合這些先進(jìn)技術(shù)與臨床實(shí)踐之間的差距，從而促進(jìn)下一代智能醫(yī)療系統(tǒng)的演變。

核心速覽

研究背景

1. 研究問(wèn)題：這篇文章要解決的問(wèn)題是如何利用大型語(yǔ)言模型（LLMs）和多模態(tài)大型語(yǔ)言模型（MLLMs）在醫(yī)學(xué)領(lǐng)域的應(yīng)用和發(fā)展。LLMs和MLLMs在理解、推理和生成方面表現(xiàn)出色，能夠顯著影響醫(yī)學(xué)領(lǐng)域并加速人工智能與醫(yī)學(xué)的融合。
2. 研究難點(diǎn)：該問(wèn)題的研究難點(diǎn)包括：獲取高質(zhì)量的醫(yī)學(xué)數(shù)據(jù)、計(jì)算資源需求高、模型的多維度評(píng)估（如指令遵循能力、安全性和倫理問(wèn)題）、以及模型的潛在應(yīng)用場(chǎng)景不明確等。
3. 相關(guān)工作：該問(wèn)題的研究相關(guān)工作包括傳統(tǒng)的自然語(yǔ)言處理模型、基于Transformer的預(yù)訓(xùn)練模型（如GPT系列和BERT系列）、以及多模態(tài)模型（如Flamingo）。這些模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用已經(jīng)取得了一定的進(jìn)展，但仍面臨諸多挑戰(zhàn)。

研究方法

這篇論文提出了通過(guò)詳細(xì)的系統(tǒng)綜述來(lái)探討LLMs和MLLMs在醫(yī)學(xué)領(lǐng)域的應(yīng)用和發(fā)展。具體來(lái)說(shuō)，

• 范式轉(zhuǎn)變：首先，論文回顧了LLMs和MLLMs的發(fā)展范式轉(zhuǎn)變，從監(jiān)督學(xué)習(xí)到無(wú)監(jiān)督預(yù)訓(xùn)練和微調(diào)，再到無(wú)監(jiān)督預(yù)訓(xùn)練和提示，最后到文本到多模態(tài)的轉(zhuǎn)變。

  

• 現(xiàn)有醫(yī)學(xué)LLMs和MLLMs的綜述：論文詳細(xì)梳理了現(xiàn)有的醫(yī)學(xué)LLMs和MLLMs，總結(jié)了它們的結(jié)構(gòu)特征。
• 數(shù)據(jù)集和方法：論文收集了適合訓(xùn)練醫(yī)學(xué)LLMs和MLLMs的數(shù)據(jù)集，并詳細(xì)闡述了訓(xùn)練和評(píng)估這些模型的方法。

  

• 應(yīng)用場(chǎng)景分析：論文總結(jié)了LLMs和MLLMs在臨床實(shí)踐中的應(yīng)用，并分析了當(dāng)前的局限性和潛在解決方案。
• 未來(lái)發(fā)展方向：論文探討了醫(yī)學(xué)LLMs和MLLLMs的未來(lái)發(fā)展方向，提供了前瞻性的分析。

結(jié)果與分析

• 發(fā)展軌跡：論文總結(jié)了LLMs和MLLMs的發(fā)展軌跡，強(qiáng)調(diào)了從特征工程到結(jié)構(gòu)工程、目標(biāo)工程和提示工程的逐步轉(zhuǎn)變。
• 模型結(jié)構(gòu)：論文詳細(xì)介紹了現(xiàn)有的醫(yī)學(xué)LLMs和MLLMs的結(jié)構(gòu)，包括編碼器-解碼器模型、視覺(jué)編碼器和模態(tài)對(duì)齊模塊。

  

• 訓(xùn)練和評(píng)估方法：論文總結(jié)了六種微調(diào)方法（如持續(xù)預(yù)訓(xùn)練、指令微調(diào)和監(jiān)督微調(diào)）和三種評(píng)估方法（自動(dòng)評(píng)估指標(biāo)、人類(lèi)評(píng)估和AI評(píng)估），并分析了各自的優(yōu)缺點(diǎn)。

  

• 應(yīng)用場(chǎng)景：論文總結(jié)了LLMs和MLLMs在醫(yī)學(xué)診斷、臨床報(bào)告生成、醫(yī)學(xué)教育、心理健康服務(wù)和手術(shù)輔助等方面的應(yīng)用，展示了它們?cè)卺t(yī)療領(lǐng)域的廣泛應(yīng)用潛力。

  

總體結(jié)論

這篇論文全面分析了醫(yī)學(xué)LLMs和MLLMs的背景、原理、應(yīng)用、挑戰(zhàn)和未來(lái)發(fā)展方向。通過(guò)系統(tǒng)的綜述，論文旨在為研究人員提供有價(jià)值的參考，推動(dòng)醫(yī)學(xué)LLMs和MLLMs在臨床實(shí)踐中的應(yīng)用和發(fā)展。論文的貢獻(xiàn)包括：

1. 提供了醫(yī)學(xué)LLMs和MLLMs的全面概述，從發(fā)展背景到架構(gòu)框架，再到現(xiàn)有模型的詳細(xì)分析和比較。
2. 系統(tǒng)地闡述了醫(yī)學(xué)LLMs和MLLMs的完整過(guò)程，從訓(xùn)練到評(píng)估，涵蓋了微調(diào)方法、評(píng)估策略和相關(guān)醫(yī)學(xué)數(shù)據(jù)集。
3. 總結(jié)了醫(yī)學(xué)LLMs和MLLLMs在臨床實(shí)踐中的應(yīng)用、挑戰(zhàn)和潛在解決方案，并提供了前瞻性的分析。

論文評(píng)價(jià)

優(yōu)點(diǎn)與創(chuàng)新

1. 全面性：論文提供了對(duì)醫(yī)學(xué)領(lǐng)域大型語(yǔ)言模型（LLMs）和多模態(tài)大型語(yǔ)言模型（MLLMs）的全面概述，從發(fā)展背景、架構(gòu)框架到訓(xùn)練和評(píng)估方法，再到臨床應(yīng)用和挑戰(zhàn)。
2. 系統(tǒng)性：論文系統(tǒng)地介紹了醫(yī)學(xué)LLMs和MLLMs的構(gòu)建和評(píng)估過(guò)程，涵蓋了從數(shù)據(jù)選擇、微調(diào)方法到評(píng)估策略的各個(gè)方面。
3. 創(chuàng)新性：論文總結(jié)了醫(yī)學(xué)LLMs和MLLMs在臨床實(shí)踐中的應(yīng)用，并分析了當(dāng)前的限制和潛在解決方案，提供了前瞻性的分析。
4. 詳細(xì)性：論文詳細(xì)介紹了現(xiàn)有的醫(yī)學(xué)LLMs和MLLMs，包括它們的結(jié)構(gòu)特征、訓(xùn)練方法和評(píng)估指標(biāo)，為研究人員提供了詳細(xì)的指導(dǎo)。
5. 多模態(tài)集成：論文強(qiáng)調(diào)了多模態(tài)MLLMs在醫(yī)學(xué)領(lǐng)域的重要性，探討了如何通過(guò)集成多種模態(tài)信息來(lái)增強(qiáng)臨床決策支持、疾病診斷和治療規(guī)劃。

不足與反思

1. 數(shù)據(jù)隱私和安全：醫(yī)學(xué)LLMs和MLLMs的訓(xùn)練需要大量的醫(yī)療數(shù)據(jù)，這些數(shù)據(jù)的獲取和標(biāo)注涉及隱私和安全問(wèn)題，論文提出了數(shù)據(jù)去標(biāo)識(shí)化和差分隱私等方法來(lái)解決這些問(wèn)題，但仍需進(jìn)一步研究和實(shí)踐。
2. 模型泛化能力：盡管LLMs和MLLMs在多個(gè)任務(wù)上表現(xiàn)出色，但在面對(duì)新的醫(yī)療知識(shí)和概念時(shí)，模型的泛化能力仍需提升，以防止出現(xiàn)誤導(dǎo)性輸出。
3. 模型的可解釋性和透明度：醫(yī)學(xué)LLMs和MLLLMs的決策過(guò)程往往缺乏透明度和可解釋性，這對(duì)于醫(yī)療應(yīng)用尤為重要。論文建議使用專(zhuān)家模型和提示增強(qiáng)技術(shù)來(lái)提高模型的可解釋性，但這一領(lǐng)域仍有待深入研究。
4. 倫理和偏見(jiàn)問(wèn)題：醫(yī)學(xué)LLMs和MLLLMs可能會(huì)從訓(xùn)練數(shù)據(jù)中學(xué)到偏見(jiàn)和有毒內(nèi)容，論文提出了篩選高質(zhì)量數(shù)據(jù)和使用反偏見(jiàn)技術(shù)來(lái)緩解這些問(wèn)題，但實(shí)際操作中仍面臨挑戰(zhàn)。
5. 未來(lái)方向：論文提出了邊緣部署、醫(yī)療代理和通用醫(yī)療助手等未來(lái)發(fā)展方向，但具體實(shí)現(xiàn)過(guò)程中仍需解決計(jì)算資源限制、模型復(fù)雜性和實(shí)時(shí)交互等問(wèn)題。

關(guān)鍵問(wèn)題及回答

問(wèn)題1：論文中提到的醫(yī)學(xué)LLMs和MLLMs的主要結(jié)構(gòu)有哪些？它們各自的特點(diǎn)是什么？

1. 編碼器-解碼器模型：這類(lèi)模型結(jié)合了編碼器和解碼器的優(yōu)點(diǎn)，適用于需要同時(shí)處理輸入和輸出任務(wù)的場(chǎng)景。例如，T5和GLM模型。
2. 視覺(jué)編碼器：這類(lèi)模型通過(guò)視覺(jué)編碼器將視覺(jué)信息轉(zhuǎn)換為文本可以理解的格式。常見(jiàn)的視覺(jué)編碼器包括ResNet、ViT和CLIP-ViT。
3. LLM骨干：作為MLLMs的認(rèn)知引擎，LLM骨干包含了大量的參數(shù)，負(fù)責(zé)文本交互、上下文感知和推理。常用的LLM骨干包括LLaMA系列和GPT系列。
4. 模態(tài)對(duì)齊模塊：這類(lèi)模塊用于橋接視覺(jué)和文本模態(tài)之間的信息差異，使MLLMs能夠理解和解釋視覺(jué)信息。常見(jiàn)的模態(tài)對(duì)齊方法包括GATED XATTN-DENSE Layers、Query-Based方法、Projection-Based方法和Prompt Augmentation。

這些結(jié)構(gòu)共同構(gòu)成了MLLMs的核心框架，使其能夠在多模態(tài)任務(wù)中表現(xiàn)出色。

問(wèn)題2：論文中提到的六種微調(diào)方法各自的特點(diǎn)和應(yīng)用場(chǎng)景是什么？

1. 持續(xù)預(yù)訓(xùn)練（CPT）：在大規(guī)模醫(yī)學(xué)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，注入醫(yī)學(xué)知識(shí)。適用于需要廣泛醫(yī)學(xué)知識(shí)的場(chǎng)景。
2. 指令微調(diào)（IFT）：使用指令數(shù)據(jù)集進(jìn)行微調(diào)，提高模型的指令遵循能力和零樣本性能。適用于需要理解和執(zhí)行人類(lèi)指令的場(chǎng)景。
3. 監(jiān)督微調(diào)（SFT）：在特定任務(wù)的標(biāo)注數(shù)據(jù)上進(jìn)行微調(diào)，提高模型在該任務(wù)上的性能。適用于需要針對(duì)特定任務(wù)進(jìn)行優(yōu)化的場(chǎng)景。
4. 人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）：通過(guò)收集人類(lèi)反饋并使用強(qiáng)化學(xué)習(xí)進(jìn)行模型優(yōu)化，適用于需要高度符合人類(lèi)偏好的場(chǎng)景。
5. AI反饋強(qiáng)化學(xué)習(xí)（RLAIF）：通過(guò)AI反饋進(jìn)行模型優(yōu)化，無(wú)需人工標(biāo)注，適用于成本敏感且需要快速迭代的場(chǎng)景。
6. 直接偏好優(yōu)化（DPO）：通過(guò)直接優(yōu)化模型以符合人類(lèi)偏好，避免復(fù)雜的獎(jiǎng)勵(lì)模型，適用于需要高效且穩(wěn)定的模型對(duì)齊的場(chǎng)景。

這些微調(diào)方法各有優(yōu)劣，研究人員和開(kāi)發(fā)者可以根據(jù)具體需求和資源選擇合適的方法。

問(wèn)題3：論文中提到的醫(yī)學(xué)LLMs和MLLLMs在醫(yī)學(xué)診斷、臨床報(bào)告生成、醫(yī)學(xué)教育和心理健康服務(wù)等方面的應(yīng)用潛力如何？

1. 醫(yī)學(xué)診斷：LLMs和MLLLMs能夠處理和分析醫(yī)學(xué)文本和圖像，生成診斷結(jié)果和建議。例如，Med-PaLM 2在美國(guó)醫(yī)學(xué)執(zhí)照考試（USMLE）中得分超過(guò)86%，達(dá)到了專(zhuān)家水平。
2. 臨床報(bào)告生成：這些模型能夠自動(dòng)生成詳細(xì)的醫(yī)療報(bào)告和總結(jié)，減輕醫(yī)生的工作負(fù)擔(dān)。例如，miniGPT-Med在生成醫(yī)療報(bào)告方面表現(xiàn)出色，準(zhǔn)確率超過(guò)了現(xiàn)有模型19%。
3. 醫(yī)學(xué)教育：LLMs和MLLLMs可以模擬醫(yī)療場(chǎng)景，提供個(gè)性化學(xué)習(xí)計(jì)劃和評(píng)估，幫助學(xué)生更好地掌握醫(yī)學(xué)知識(shí)和技能。例如，Khanmigo和Duolingo平臺(tái)已經(jīng)集成了GPT-4，用于增強(qiáng)在線教學(xué)。
4. 心理健康服務(wù)：基于LLM的聊天機(jī)器人可以提供24/7的心理咨詢服務(wù)，降低成本并擴(kuò)大服務(wù)范圍。例如，ChatCounselor是一個(gè)用于心理健康支持的大型語(yǔ)言模型。

總體而言，LLMs和MLLLMs在醫(yī)學(xué)領(lǐng)域的應(yīng)用潛力巨大，能夠顯著提高醫(yī)療服務(wù)的效率和質(zhì)量，但也面臨一些挑戰(zhàn)，如數(shù)據(jù)隱私、模型偏見(jiàn)和安全性等問(wèn)題。

本文轉(zhuǎn)載自 ??知識(shí)圖譜科技??，作者： KGGPT