用AI大模型一鍵解析MRI、CT和病理學(xué)等九大生物醫(yī)學(xué)成像模式。

不僅復(fù)雜、不規(guī)則形狀對象能高精度識別：

而且通過對象識別閾值建模，模型能夠檢測無效的提示請求，并在圖像中不存在指定對象時拒絕分割。

用戶更是無需手動進行標注或邊界框操作——

只需通過簡單的臨床語言提示指定目標對象，例如“腫瘤邊界”或“免疫細胞”，便能讓AI準確識別、檢測并分割圖像中的相關(guān)區(qū)域。

還可一次性同時分割和標記所有感興趣的生物醫(yī)學(xué)對象：

這就是來自微軟、華盛頓大學(xué)等的研究團隊最新發(fā)布的基礎(chǔ)模型BiomedParse，已登Nature Methods。

醫(yī)學(xué)圖像的成像模式差異巨大（如CT、MRI、病理切片、顯微鏡圖像等），傳統(tǒng)上需要訓(xùn)練專家模型進行處理。

而BiomedParse，通過文本驅(qū)動圖像解析將九種醫(yī)學(xué)成像模式整合于一個統(tǒng)一的模型中，聯(lián)合預(yù)訓(xùn)練處理對象識別、檢測與分割任務(wù)。

無論是影像級別的器官掃描，還是細胞級別的顯微鏡圖像，BiomedParse都可以直接利用臨床術(shù)語進行跨模式操作，為科學(xué)家和臨床醫(yī)生提供了更統(tǒng)一、更智能的多模式圖像解析方案。

在分割不規(guī)則形狀的生物醫(yī)學(xué)對象方面，BiomedParse相較傳統(tǒng)模型表現(xiàn)卓越。通過將圖像區(qū)域與臨床概念關(guān)聯(lián)，相比手動框選分割精度提升39.6%，提高了在關(guān)鍵任務(wù)中的可靠性。

目前，研究團隊已將BiomedParse開源并提供Apache 2.0許可，相關(guān)演示demo和Azure API均已上線。

只需文字提示，精度超越SOTA

為支持BiomedParse的預(yù)訓(xùn)練，研究團隊利用GPT-4從45個公開的醫(yī)學(xué)圖像分割數(shù)據(jù)集生成了首個覆蓋對象識別、檢測和分割任務(wù)的數(shù)據(jù)集BiomedParseData。

該數(shù)據(jù)集包含超過600萬個圖像、分割標注與文字描述三元組，涵蓋64種主要生物醫(yī)學(xué)對象類型及82個細分類別，涉及CT、MRI、病理切片等九種成像模式。

通過GPT-4的自然語言生成能力，研究人員將散落在各種現(xiàn)有數(shù)據(jù)集中的分割任務(wù)用統(tǒng)一的醫(yī)學(xué)概念和語言描述整合起來，讓BiomedParse能在更大，更多樣的數(shù)據(jù)中融會貫通。

在測試集上，BiomedParse在Dice系數(shù)上顯著超越了當前最優(yōu)方法MedSAM和SAM，并且無需對每個對象手動提供邊界框提示。

即使在給MedSAM和SAM提供精準邊界框的情況下，BiomedParse的純文本提示分割性能仍能超越5-15個百分點。

此外，BiomedParse的性能還優(yōu)于SEEM、SegVol、SAT、CellViT、Swin UNETR等多個模型，尤其在復(fù)雜不規(guī)則的對象識別上表現(xiàn)突出。

生物醫(yī)學(xué)圖像中的不規(guī)則對象一直是傳統(tǒng)模型的難題，而BiomedParse通過聯(lián)合對象識別和檢測任務(wù)，通過文本理解實現(xiàn)了對對象特定形狀的建模。對復(fù)雜對象的識別精度遠超傳統(tǒng)模型，且在多模態(tài)數(shù)據(jù)集中進一步凸顯了其優(yōu)勢。

展望未來，團隊表示BiomedParse擁有廣闊的發(fā)展?jié)摿Γ蛇M一步擴展至更多成像模式和對象類型，并與LLaVA-Med等高級多模態(tài)框架集成，支持“對話式”圖像分析，實現(xiàn)數(shù)據(jù)交互式探索。

作者簡介

論文共同一作及通訊作者均為華人學(xué)者，分別來自微軟和華盛頓大學(xué)。

趙正德（Theodore Zhao），論文一作，為該研究作出主要技術(shù)貢獻。

微軟高級應(yīng)用科學(xué)家，現(xiàn)主要研究方向包括多模態(tài)醫(yī)療AI模型，圖像分割與處理，大模型的安全性分析。

本科畢業(yè)于復(fù)旦大學(xué)物理系，博士畢業(yè)于華盛頓大學(xué)應(yīng)用數(shù)學(xué)系，期間研究希爾伯特-黃變換和分數(shù)布朗運動的多尺度特征，以及隨機優(yōu)化在醫(yī)療領(lǐng)域的應(yīng)用。

顧禹（Aiden Gu），論文一作。

微軟高級應(yīng)用科學(xué)家。本科畢業(yè)于北京大學(xué)微電子與經(jīng)濟專業(yè)。

其研究方向?qū)Ｗ⒂卺t(yī)療健康、生物醫(yī)學(xué)，以及機器人多模態(tài)模型。代表性工作包括創(chuàng)建首個醫(yī)學(xué)領(lǐng)域特定的大語言模型PubMedBERT，以及患者旅程模擬模型BiomedJourney。

潘海峰（Hoifung Poon），論文通訊作者。

微軟研究院健康未來（Health Futures）General Manager，華盛頓大學(xué)（西雅圖）計算機博士。研究方向為生成式AI基礎(chǔ)研究以及精準醫(yī)療應(yīng)用。在多個頂級AI會議上獲得最佳論文獎，在HuggingFace上發(fā)布的生物醫(yī)學(xué)開源大模型總下載量已達數(shù)千萬次，在《自然》上發(fā)表首個全切片數(shù)字病理學(xué)模型GigaPath，部分研究成果開始在合作的醫(yī)療機構(gòu)和制藥公司中轉(zhuǎn)化為應(yīng)用。

王晟（Sheng Wang），論文通訊作者。

華盛頓大學(xué)計算機科學(xué)與工程系助理教授，微軟研究院訪問學(xué)者。

他專注于人工智能與醫(yī)學(xué)的交叉研究，利用生成式AI解決生物醫(yī)學(xué)問題。其科研成果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等頂級期刊上發(fā)表十余篇論文，并被Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence等多家知名醫(yī)療機構(gòu)廣泛應(yīng)用。

Mu Wei，論文通訊作者。

微軟Health and Life Sciences首席應(yīng)用科學(xué)家，擁有十余年醫(yī)療與金融領(lǐng)域的AI模型研發(fā)與部署經(jīng)驗。

他的團隊聚焦于健康領(lǐng)域的多模態(tài)AI模型，研究成果涵蓋生物醫(yī)學(xué)圖像解析、數(shù)字病理學(xué)基礎(chǔ)模型、臨床文檔結(jié)構(gòu)化的大模型應(yīng)用以及大模型錯誤率估計等方向。

感興趣的童鞋可自行查閱～

論文地址：https://www.nature.com/articles/s41592-024-02499-w
項目網(wǎng)頁：https://microsoft.github.io/BiomedParse/
代碼：https://aka.ms/biomedparse-release
Azure API網(wǎng)頁：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47