譯者 | 朱先忠
審校 | 孫淑娟
圖1：原作者自己設(shè)計的Iluminado項目的封面
2019年世界衛(wèi)生組織估計，全球共有約22億視力障礙者，其中至少有10億人本可以預(yù)防或仍在治療。就眼部護(hù)理領(lǐng)域而言，全世界面臨許多挑戰(zhàn)，包括預(yù)防、治療和康復(fù)服務(wù)的覆蓋面和質(zhì)量不平等。缺乏訓(xùn)練有素的眼部護(hù)理人員，眼部護(hù)理服務(wù)與主要衛(wèi)生系統(tǒng)的整合也很差。我的目標(biāo)是激發(fā)人們的行動來共同應(yīng)對這些挑戰(zhàn)。本文中展示的項目是我目前正在進(jìn)行的數(shù)據(jù)科學(xué)頂峰項目Iluminado的一部分。
Capstone項目的設(shè)計目標(biāo)
我創(chuàng)建本文項目的目的是想訓(xùn)練一個深度學(xué)習(xí)集成模型，最終實現(xiàn)該模型對于低收入家庭來說非常容易獲得，并且可以以低成本執(zhí)行初始疾病風(fēng)險診斷。通過使用我的模型程序，眼科醫(yī)生就可以根據(jù)視網(wǎng)膜眼底攝影確定是否需要立即進(jìn)行干預(yù)。
項目數(shù)據(jù)集來源
OphthAI提供了一個名為視網(wǎng)膜眼底多疾病圖像數(shù)據(jù)集（Retinal Fundus Multi-Disease Image Dataset，簡稱“RFMiD”）的公共可用圖像數(shù)據(jù)集，該數(shù)據(jù)集包含3200張眼底圖像，這些圖像由三臺不同的眼底相機(jī)拍攝，并由兩名資深視網(wǎng)膜專家根據(jù)已裁決的共識進(jìn)行注釋。
這些圖像是從2009-2010年期間進(jìn)行的數(shù)千次檢查中提取的，既選擇了一些高質(zhì)量的圖像也包含不少低質(zhì)量的圖像，從而使數(shù)據(jù)集更具挑戰(zhàn)性。
數(shù)據(jù)集共分為三個部分，包括訓(xùn)練集（60%或1920張圖像）、評估集（20%或640張圖像）和測試集（20%和640張）。平均而言，訓(xùn)練集、評估集和測試集中的患有疾病的占比分別為60±7%、20±7%和20±5%。該數(shù)據(jù)集的基本目的是解決日常臨床實踐中出現(xiàn)的各種眼部疾病，共確定了45類疾病/病理。這些標(biāo)簽可以分別在三個CSV文件中找到，它們是RFMiD_Training_Labels.CSV、RFMiD_Validation_Labels.SSV和RFMiD_Testing_Labels.CSV。
圖像來源
下面這張圖是用一種被稱為眼底照相機(jī)的工具拍攝的。眼底照相機(jī)是一種專門的低倍顯微鏡，連接在一臺閃光照相機(jī)上，用來拍攝眼底，即眼睛后部的視網(wǎng)膜層。
現(xiàn)在，大多數(shù)眼底照相機(jī)都是手持式的，因此患者只需直視鏡頭。其中，明亮的閃光部分表示已拍攝眼底圖。
手持?jǐn)z像機(jī)是有其優(yōu)點的，因為它們可以被攜帶到不同的位置，并且可以容納有特殊需求的患者，例如輪椅使用者。此外，任何接受過所需培訓(xùn)的員工都可以操作攝像頭，從而能夠使服務(wù)水平低下的的糖尿病患者可以快速、安全、高效地進(jìn)行年度檢查。
眼底視網(wǎng)膜成像系統(tǒng)拍照情況：
圖2：基于各自視覺特征拍攝的圖像：（a）糖尿病視網(wǎng)膜病變（DR）、（b）老年性黃斑變性（ARMD）和（c）中度霾（MH）。
最終診斷在哪里進(jìn)行？
最初的篩查過程可以通過深度學(xué)習(xí)來輔助，但最終診斷由眼科醫(yī)生使用裂隙燈檢查進(jìn)行。
這一過程也被稱為生物顯微鏡診斷，它涉及對活細(xì)胞的檢查。醫(yī)生可以進(jìn)行顯微鏡檢查，以確定病人的眼睛是否出現(xiàn)任何異常。
圖3：裂隙燈檢查圖示
深度學(xué)習(xí)在視網(wǎng)膜圖像分類中的應(yīng)用
與傳統(tǒng)的機(jī)器學(xué)習(xí)算法不同，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）可以使用多層模型的辦法實現(xiàn)從原始數(shù)據(jù)中自動提取和分類特征。
最近，學(xué)術(shù)界發(fā)表了大量文章，都是有關(guān)使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來識別各種眼部疾病的，如糖尿病視網(wǎng)膜病變和結(jié)果異常（AUROC>0.9）的青光眼等。
數(shù)據(jù)指標(biāo)
AUROC分?jǐn)?shù)將ROC曲線匯總為一個數(shù)字，該數(shù)字描述了模型在同時處理多個閾值時的性能。值得注意的是，AUROC分?jǐn)?shù)為1代表是一個完美的分?jǐn)?shù)，而AUROC得分為0.5對應(yīng)于隨機(jī)猜測。
圖4：ROC曲線示意圖展示
所用方法——交叉熵?fù)p失函數(shù)
交叉熵通常在機(jī)器學(xué)習(xí)中用作損失函數(shù)。交叉熵是信息理論領(lǐng)域的一種度量，它建立在熵定義的基礎(chǔ)上，通常用于計算兩個概率分布之間的差異，而交叉熵可以被認(rèn)為是計算兩個分布之間的總熵。
交叉熵也與邏輯損失有關(guān)，稱為對數(shù)損失。盡管這兩種度量方法來自不同的來源，但當(dāng)用作分類模型的損失函數(shù)時，這兩種辦法計算的數(shù)量相同，可以互換使用。
（有關(guān)具體詳情，請參考：https://machinelearningmastery.com/logistic-regression-with-maximum-likelihood-estimation/）
什么是交叉熵？
交叉熵是給定隨機(jī)變量或事件集的兩個概率分布之間差異的度量。您可能還記得，信息量化了編碼和傳輸事件所需的位數(shù)。低概率事件往往包含更多的信息，而高概率事件則包含較少的信息。
在信息論中，我們喜歡描述事件的“驚訝”。事件發(fā)生的可能性越小，就越令人驚訝，這意味著它包含了更多的信息。
- 低概率事件（令人驚訝）：更多信息。
- 高概率事件（不足為奇）：信息較少。
在給定事件P(x)的概率的情況下，就可以為事件x計算信息h(x)，如下所示：
圖4：完美的插圖（圖片來源：Vlastimil Martinek）
熵是從概率分布中傳輸隨機(jī)選擇的事件所需的比特數(shù)。偏態(tài)分布具有較低的熵，而事件具有相等概率的分布一般具有較大的熵。
圖5：目標(biāo)與預(yù)測概率之比的完美說明（圖片來源：Vlastimil Martinek）
偏態(tài)概率分布具有較少的“意外”，反過來也具有較低的熵，因為可能的事件占主導(dǎo)地位。相對來說，平衡分布更令人驚訝，而且熵更高，因為事件發(fā)生的可能性相同。
- 偏態(tài)概率分布（不足為奇）：低熵。
- 平衡概率分布（令人驚訝）：高熵。
熵H（x）可以針對具有x個離散狀態(tài)中的一組x的隨機(jī)變量及其概率P（x）計算，如下圖所示：
圖6：多級交叉熵公式（圖片來源：Vlastimil Martinek）
多類別分類——我們使用多分類交叉熵——屬于交叉熵的一種具體應(yīng)用情形，其中的目標(biāo)采用的是單熱編碼向量方案。（有興趣的讀者可參考Vlastimil Martinek的文章）
圖7：熊貓和貓損失計算的完美分解圖（圖片來源：Vlastimil Martinek）
圖8：損失值的完美分解圖1（圖片來源：Vlastimil Martinek）
圖9：損失值的完美分解圖2（圖片來源：Vlastimil Martinek）
圖9：關(guān)于概率和損失的可視化展示（圖片來源：Vlastimil Martinek）
二元交叉熵怎么樣？
圖10：分類交叉熵公式圖解（圖片來源：Vlastimil Martinek）
在我們的項目中選擇使用了二元分類——二元交叉熵方案，即目標(biāo)為0或1的交叉熵方案。如果我們將目標(biāo)分別轉(zhuǎn)換為[0,1]或[1,0]的熱編碼向量方式并進(jìn)行預(yù)測，那么我們就可以使用交叉熵公式來進(jìn)行計算。
圖11：二元交叉熵計算公式圖解（圖片來源：Vlastimil Martinek）
使用非對稱損失算法處理不平衡數(shù)據(jù)
在一個典型的多標(biāo)簽?zāi)Ｐ铜h(huán)境中，數(shù)據(jù)集的特征可能存在不成比例數(shù)量的正標(biāo)簽和負(fù)標(biāo)簽的情況。此時，數(shù)據(jù)集傾向于負(fù)標(biāo)簽的這種趨勢對于優(yōu)化過程具有主導(dǎo)性影響，并最終導(dǎo)致正標(biāo)簽的梯度強(qiáng)調(diào)不足，從而降低預(yù)測結(jié)果的準(zhǔn)確性。
這也正是我當(dāng)前選用的數(shù)據(jù)集所面臨的情況。
本文項目中采用了BenBaruch等人開發(fā)的非對稱損失算法（參考圖12），這是一種解決多標(biāo)簽分類的方法，不過其中的類別也存在嚴(yán)重不平衡分布情形。
我想到的辦法是：通過不對稱地修改交叉熵中的正負(fù)分量，從而減少負(fù)標(biāo)簽部分的權(quán)重，最終實現(xiàn)突出上述處理起來較為困難的正標(biāo)簽部分的權(quán)重。
圖12：非對稱多標(biāo)簽分類算法（2020，作者：Ben-Baruch等）
待測試的體系架構(gòu)
總體歸納一下，本文項目使用了如圖所示的體系架構(gòu)：
圖13（圖片來源：Sixu）
上述架構(gòu)所采用的關(guān)鍵算法主要包括：
- DenseNet-121
- InceptionV3
- Xception
- MobileNetV2
- VGG16
另外，上述有關(guān)算法有關(guān)內(nèi)容一定會在我完成本文Capstone項目后加以更新！有興趣的讀者敬請期待！
譯者介紹
朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機(jī)教師，自由編程界老兵一枚。
原文標(biāo)題：??Deep Ensemble Learning for Retinal Image Classification (CNN)??，作者：Cathy Kam
