[[375650]]

人工智能在生物領(lǐng)域的應(yīng)用突飛猛進(jìn)，從藥物發(fā)現(xiàn)、診斷開(kāi)發(fā)到醫(yī)療保健，每一環(huán)都能找到AI的身影。鑒于AI擁有巨大的應(yīng)用潛力，幾乎每天都有AI與生物領(lǐng)域的新應(yīng)用出現(xiàn)，以至于越來(lái)越難以從噪音中分辨出信號(hào)。無(wú)論是生物醫(yī)藥領(lǐng)域從業(yè)者、領(lǐng)導(dǎo)者，還是相關(guān)投資人與運(yùn)營(yíng)商，大家都面臨一個(gè)共同問(wèn)題——如何評(píng)估一項(xiàng)AI新技術(shù)，是否值得大家投入時(shí)間、精力與金錢(qián)？

這是一個(gè)非常重要的問(wèn)題。這篇文章中，我們會(huì)分享自己如何評(píng)估一項(xiàng)AI生物技術(shù)、需要遵循的原則以及常見(jiàn)陷阱。

一 你真的需要AI來(lái)解決問(wèn)題嗎?
第一個(gè)問(wèn)題不是關(guān)于產(chǎn)品，而是關(guān)于你想要解決的問(wèn)題。人工智能不是萬(wàn)靈藥，所以首先要考慮這個(gè)問(wèn)題是否需要或?qū)幕谌斯ぶ悄艿姆椒ㄖ惺芤妗?/p>

人工智能在處理復(fù)雜任務(wù)或進(jìn)行分析時(shí)非常獨(dú)特，因?yàn)檫@些任務(wù)或分析需要處理大量的非結(jié)構(gòu)化數(shù)據(jù)，而這些關(guān)鍵特征并沒(méi)有很好地定義或?qū)θ祟?lèi)來(lái)說(shuō)并不直觀。

如果你想要僅能預(yù)測(cè)受某些已知變量影響趨勢(shì)的軟件，則AI可能會(huì)過(guò)大（甚至有害）。相反，AI可以幫助你篩選復(fù)雜的醫(yī)學(xué)圖像或非結(jié)構(gòu)化的健康記錄之類(lèi)的數(shù)據(jù)，以幫助診斷由廣泛的相互作用或不清楚的因素引起的疾病。

您還必須考慮數(shù)據(jù)本身。是否有足夠高質(zhì)量用于訓(xùn)練和測(cè)試的無(wú)噪聲數(shù)據(jù)，以便使AI能夠有效發(fā)揮作用？是否需要首先單獨(dú)進(jìn)行數(shù)據(jù)生成和管理?當(dāng)你已經(jīng)一絲不茍地對(duì)你的問(wèn)題和數(shù)據(jù)進(jìn)行了壓力測(cè)試，并確信對(duì)于AI來(lái)說(shuō)生物問(wèn)題已經(jīng)成熟，那么就可以評(píng)估平臺(tái)或產(chǎn)品本身了。

二 是真的AI還是營(yíng)銷(xiāo)炒作？
人們經(jīng)?；煜蚬室庹`用「AI」這個(gè)詞，但實(shí)際上，它的意思是使用預(yù)先編程的軟件進(jìn)行自動(dòng)數(shù)據(jù)分析。當(dāng)我們談?wù)揂I時(shí)，通常指的是自動(dòng)發(fā)現(xiàn)獨(dú)特見(jiàn)解的算法或平臺(tái)，這些見(jiàn)解對(duì)于人類(lèi)而言至少在合理的時(shí)間范圍內(nèi)很難推論甚至無(wú)法推論。隨著數(shù)據(jù)隨著時(shí)間的推移而擴(kuò)展，這些見(jiàn)解將繼續(xù)得到改進(jìn)和優(yōu)化。真正的AI系統(tǒng)是迭代的，并且變得越來(lái)越自治。

另一方面，自動(dòng)化使用基于規(guī)則的系統(tǒng)來(lái)「預(yù)測(cè)」結(jié)果，但是這些預(yù)測(cè)無(wú)法適應(yīng)。自動(dòng)化可能允許重復(fù)性任務(wù)的完成，但是它無(wú)法從這些任務(wù)中學(xué)習(xí)以完成新任務(wù)。

例如，不由AI提供支持的醫(yī)學(xué)轉(zhuǎn)錄軟件可以很好地理解經(jīng)典的心血管術(shù)語(yǔ)，但是，如果遇到較新的腫瘤學(xué)研究概念或以前尚未探索的本體論，它將無(wú)法適應(yīng)和學(xué)習(xí)。

當(dāng)心那些聲稱(chēng)使用AI但實(shí)際上只是基于人類(lèi)選擇的統(tǒng)計(jì)分析進(jìn)行基本數(shù)據(jù)分析的公司。這看起來(lái)像一個(gè)模型，該模型基于利用醫(yī)生選擇的特征（疾病嚴(yán)重程度，年齡等）的回歸分析來(lái)估計(jì)住院時(shí)間。這不是AI。

為了識(shí)別真正的AI，重要的是要深入研究如何訓(xùn)練平臺(tái)。功能是自主學(xué)習(xí)的，還是全部預(yù)先預(yù)期或預(yù)先選擇的？它是否可以根據(jù)反復(fù)試驗(yàn)實(shí)際進(jìn)行調(diào)整，還是受某些參數(shù)約束？準(zhǔn)確性和預(yù)測(cè)能力會(huì)隨著時(shí)間的推移自動(dòng)提高嗎？還是趨于平穩(wěn)？它會(huì)創(chuàng)建自己的大量數(shù)據(jù)嗎？

數(shù)據(jù)消耗是AI的顯著方面，它可用于迭代地改進(jìn)模型。總而言之，假冒的AI系統(tǒng)嚴(yán)重依賴(lài)費(fèi)力的輸入和人工監(jiān)督，因此無(wú)法適應(yīng)。真正的AI系統(tǒng)具有學(xué)習(xí)能力，獨(dú)立的特征識(shí)別能力，并且隨著時(shí)間的推移而不斷改進(jìn)。一旦確定要使用真正的AI，就可以更深入地探究AI的工作原理，以及它如何與競(jìng)爭(zhēng)對(duì)手競(jìng)爭(zhēng)。

三 該模式能否真正實(shí)現(xiàn)差異化?
評(píng)估任何一項(xiàng)AI驅(qū)動(dòng)的新技術(shù)，下一步就是要確定它與競(jìng)爭(zhēng)對(duì)手有哪些差異化之處。要了解一個(gè)產(chǎn)品的創(chuàng)新本質(zhì)，自然要對(duì)其應(yīng)用領(lǐng)域(醫(yī)學(xué)轉(zhuǎn)錄、藥物設(shè)計(jì)、生物標(biāo)記物發(fā)現(xiàn)、臨床試驗(yàn)預(yù)測(cè)等)有更深入的了解。

核心問(wèn)題在于，判斷AI是否真的實(shí)現(xiàn)了該領(lǐng)域中前所未有的東西，是作為一個(gè)全新的用例出現(xiàn)，還是在速度、效率、成本等方面有了數(shù)量級(jí)的改進(jìn)。這里的邏輯對(duì)于所有新產(chǎn)品都是一樣的，不管是不是AI。

當(dāng)我們考慮差異化時(shí)，一切都?xì)w結(jié)為第三方要復(fù)制該技術(shù)或提高它的難度（有沒(méi)有護(hù)城河？）。了解數(shù)據(jù)集甚至AI算法本身的來(lái)源非常重要。關(guān)于高質(zhì)量開(kāi)源AI軟件包和數(shù)據(jù)集民主化的驚人事情之一是，它們易于現(xiàn)成。現(xiàn)在，即使是入門(mén)計(jì)算機(jī)科學(xué)的學(xué)生也可以將一個(gè)簡(jiǎn)單的機(jī)器學(xué)習(xí)分類(lèi)器組合在一起。

盡管這對(duì)于更廣泛的領(lǐng)域而言是不可思議的進(jìn)步，但還必須辨別給定的平臺(tái)是否可以使用現(xiàn)成的工具進(jìn)行復(fù)制，或者是否存在一些根本的進(jìn)步。

四 有效嗎？你怎么知道的？
一旦你確定所討論的產(chǎn)品是真正的人工智能，并且與競(jìng)爭(zhēng)對(duì)手有所區(qū)別，現(xiàn)在是時(shí)候深入了解它的量化表現(xiàn)了。此時(shí)，了解給定應(yīng)用程序的指標(biāo)，至關(guān)重要。

例如，如果你正在處理一個(gè)分類(lèi)問(wèn)題(例如，分類(lèi)一個(gè)組織樣本是否屬于癌癥)，你的目標(biāo)應(yīng)該是最大化準(zhǔn)確性。了解AUC值、靈敏度、特異性等非常重要；如果正在處理一個(gè)復(fù)雜的回歸問(wèn)題，如預(yù)測(cè)藥物的分子屬性值或患者治療的理想劑量，你應(yīng)該努力減少誤差，度量標(biāo)準(zhǔn)如R²或RMSE是關(guān)鍵。

然而，在現(xiàn)實(shí)世界中，最大化準(zhǔn)確性或最小化誤差并不足以保證成功。你必須知道效用的臨界值。由于預(yù)測(cè)建模是相對(duì)于手頭的應(yīng)用程序而言的并且是特定的，因此最大精度通常是不可行的（也不要求）。這一切都基于上下文，以及適用于該問(wèn)題的AI驅(qū)動(dòng)算法的當(dāng)前基準(zhǔn)。從表面上看，0.71 R²可能并不令人印象深刻，但如果沒(méi)有特定應(yīng)用程序的優(yōu)先級(jí)，則可能令人震驚。例如，如果您要預(yù)測(cè)臨床試驗(yàn)結(jié)果，那么，即使是一個(gè)不完善的系統(tǒng)也只能提供適度的預(yù)測(cè)性能提升（也許允許您每年取消一個(gè)額外程序的優(yōu)先級(jí)），也可以為組織節(jié)省數(shù)十億美元。

了解性能后，將其與更簡(jiǎn)單的方法執(zhí)行效果進(jìn)行比較也很重要。如果用更簡(jiǎn)單的隨機(jī)森林或邏輯回歸替換你的復(fù)雜深度學(xué)習(xí)算法，了解性能如何變化，你就有機(jī)會(huì)發(fā)現(xiàn)模型技能的局限性。

隨著人工智能在生物技術(shù)領(lǐng)域的發(fā)展，可能會(huì)出現(xiàn)一些甚至還沒(méi)有建立基準(zhǔn)的新應(yīng)用。在這些情況下，最重要的是理解與標(biāo)準(zhǔn)方法相比，人工智能如何提高特定任務(wù)的準(zhǔn)確性、速度或精度。(盡管這些未知的情況可能看起來(lái)很棘手，但這些新領(lǐng)域的機(jī)會(huì)往往是最令人興奮的!)

五 是不是……太好了?
在這一點(diǎn)上，也許你擁有數(shù)據(jù)，知道你的參數(shù)和基準(zhǔn)，已經(jīng)訓(xùn)練了你的AI，并且它的AUC是0.99 !看起來(lái)你已經(jīng)破解了代碼，你的平臺(tái)已經(jīng)準(zhǔn)備好了! 不過(guò)，先別喝香檳。作為該領(lǐng)域的投資者和從業(yè)者，我們已經(jīng)多次目睹了這場(chǎng)電影的結(jié)局。劇透警告:這個(gè)超高精度的人工智能算法一旦被暴露在真實(shí)世界的數(shù)據(jù)中，很快就會(huì)失敗，給你的預(yù)測(cè)就像拋硬幣一樣。

「這怎么可能呢？」人們可能會(huì)問(wèn)，尤其是在經(jīng)過(guò)幾個(gè)月的訓(xùn)練和驗(yàn)證之后，而且利用了最先進(jìn)的人工智能工具。一個(gè)可能的解釋是，答案可能已經(jīng)隱藏在訓(xùn)練數(shù)據(jù)集中，所以，本質(zhì)上這個(gè)過(guò)程從一開(kāi)始就被破壞了。簡(jiǎn)單地說(shuō)，答案測(cè)試集被意外泄露到訓(xùn)練數(shù)據(jù)集。從技術(shù)上講，數(shù)據(jù)準(zhǔn)備和交叉驗(yàn)證過(guò)程會(huì)導(dǎo)致數(shù)據(jù)泄漏。

一個(gè)經(jīng)典例證就是，從組織圖像中開(kāi)發(fā)出一種看似精確的AI驅(qū)動(dòng)的腫瘤檢測(cè)器，但當(dāng)該系統(tǒng)用于另一家醫(yī)院的腫瘤圖像時(shí)，它會(huì)完全失敗?；仡欉@些數(shù)據(jù)，科學(xué)家們意識(shí)到，所有帶有腫瘤的圖像中都有一個(gè)白色的標(biāo)尺來(lái)測(cè)量腫瘤的大??！標(biāo)尺是隱藏在訓(xùn)練集中的欺騙項(xiàng)，為了使模型成為一個(gè)訓(xùn)練良好的標(biāo)尺檢測(cè)器。這里的關(guān)鍵信息是要注意從它的「白色標(biāo)尺」中清理數(shù)據(jù)，僅僅掌握統(tǒng)計(jì)數(shù)據(jù)是不夠的。

有時(shí)，AI模型的陷阱更隱蔽，以致于無(wú)法準(zhǔn)確定位某個(gè)特定功能。這些比較難發(fā)現(xiàn)，因?yàn)樗鼈兛赡懿荒敲疵黠@或不像二進(jìn)制，可能是R2之間的差異，比如 0.6和0.78之間。一個(gè)經(jīng)常困擾AI算法的例子是時(shí)間序列數(shù)據(jù)問(wèn)題。

以人工智能驅(qū)動(dòng)平臺(tái)為例，該平臺(tái)致力于預(yù)測(cè)一種藥物在臨床試驗(yàn)中的成功概率（PoS）。乍一看，使用所有可用的臨床試驗(yàn)信息似乎很自然。測(cè)試時(shí)，當(dāng)你的模型自信地預(yù)測(cè)2007年一些關(guān)鍵試驗(yàn)的結(jié)果時(shí)，你也會(huì)被(錯(cuò)誤地)打動(dòng)。

這里的錯(cuò)誤是，人工智能模型已經(jīng)包含了來(lái)自未來(lái)的線索，這使得問(wèn)題更容易預(yù)測(cè)。盡管數(shù)據(jù)已被清理，重復(fù)數(shù)據(jù)已被刪除并且沒(méi)有任何隱藏的線索，但是，截至2020年的臨床試驗(yàn)數(shù)據(jù)集已經(jīng)借由新的生物學(xué)和臨床知識(shí)（例如，新的劑量方案，與新方式的相互作用，較細(xì)化的患者亞組等進(jìn)行的臨床試驗(yàn)等）吸收了「作弊因子」，而這樣的模型在2007年是不存在的，也因此無(wú)法推廣到以后的試驗(yàn)中。在按時(shí)間序列引入數(shù)據(jù)泄漏的情況下，我們必須注意不要讓我們模型窺視未來(lái)。

最終，一個(gè)好的模型（從而是一個(gè)好的產(chǎn)品）可以確保訓(xùn)練數(shù)據(jù)真正代表并推廣到將要分析的真實(shí)世界的預(yù)期數(shù)據(jù)。

六 是否進(jìn)行了前瞻性試驗(yàn)，作為驗(yàn)證的黃金標(biāo)準(zhǔn)?
最后，即使認(rèn)真地執(zhí)行了上述所有步驟（并且選擇了明確的控件來(lái)建立基線，確保沒(méi)有偏見(jiàn)或數(shù)據(jù)泄露的暗示，檢查了訓(xùn)練數(shù)據(jù)是否可以推廣），你仍然只測(cè)試了AI平臺(tái)使用歷史數(shù)據(jù)與預(yù)先確定的答案。簡(jiǎn)單地說(shuō)，一切都是回顧性的。而對(duì)于現(xiàn)實(shí)世界的應(yīng)用程序，你只能控制這么多，未知可能會(huì)讓你摔倒——即使你并沒(méi)有打算作弊!

在對(duì)給定技術(shù)做出最終決定時(shí)，沒(méi)有什么比精心設(shè)計(jì)的隨機(jī)臨床試驗(yàn)(如前瞻性測(cè)試)更能真正驗(yàn)證AI平臺(tái)的了。這是測(cè)試的圣杯——真實(shí)生活中的預(yù)演。不過(guò)有時(shí)在時(shí)間，資源和新技術(shù)的成本方面可能不切實(shí)際，因此，下一個(gè)測(cè)試最好是某種形式的回顧性盲法測(cè)試。一個(gè)經(jīng)典的基準(zhǔn)數(shù)據(jù)集可以讓你有機(jī)會(huì)在一對(duì)一的研究中，比較不同競(jìng)爭(zhēng)技術(shù)的性能。

總之，隨著人工智能繼續(xù)滲透到生物技術(shù)的每一個(gè)角落，我們相信這些指導(dǎo)原則對(duì)于從業(yè)者和商業(yè)伙伴都是至關(guān)重要的。但這些復(fù)雜的模型——以及它們?cè)趶?fù)雜生物學(xué)上的應(yīng)用——需要一套獨(dú)特的技能才能真正理解。我們認(rèn)為，企業(yè)必須將他們的人工智能專(zhuān)家與其他領(lǐng)域?qū)＜医Y(jié)合起來(lái)。只有這種協(xié)同的結(jié)合才能充分發(fā)揮人工智能在生物領(lǐng)域的巨大潛力。但對(duì)于那些曾經(jīng)懷著好奇或懷疑態(tài)度「袖手旁觀」的人來(lái)說(shuō)，這個(gè)框架可以成為一個(gè)切入點(diǎn)，讓他們開(kāi)始評(píng)估一個(gè)特定AI產(chǎn)品是否值得他們投入時(shí)間和資本。

說(shuō)明：

1、曲線下面積(Area under the curve, AUC)是分類(lèi)問(wèn)題的一種性能度量，表示可分性的程度或度量。它告訴我們一個(gè)模型能在多大程度上區(qū)分不同的類(lèi)。AUC越高，模型的預(yù)測(cè)能力越強(qiáng)。理論最大值為1。當(dāng)AUC為0.5時(shí)，說(shuō)明模型根本沒(méi)有分類(lèi)能力。

2、R²或r²是對(duì)數(shù)據(jù)點(diǎn)與模型匹配程度的一種衡量。R²的理想值是1。R²的值越接近1，說(shuō)明模型對(duì)數(shù)據(jù)的擬合越好。

3、RSME:均方根誤差(RMSE)是預(yù)測(cè)定量數(shù)據(jù)時(shí)模型誤差的度量。RMSE越小越好。

4、交叉驗(yàn)證主要是人工智能應(yīng)用于對(duì)看不見(jiàn)的數(shù)據(jù)估計(jì)模型的技巧。首先，將可用的數(shù)據(jù)集分割為訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)的三個(gè)子集。使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，該過(guò)程的目標(biāo)是在某些指標(biāo)(如準(zhǔn)確性)上獲得最高分?jǐn)?shù)的模型。最后通過(guò)測(cè)試數(shù)據(jù)集判斷模型的性能來(lái)衡量模型的成功與否。

參考鏈接：

https://a16z.com/2021/01/08/evaluating-ai-bio/