譯者 | 朱先忠

審校 | 重樓

在劍橋大學(xué)擔任神經(jīng)成像和人工智能研究科學(xué)家期間，我面臨著使用最新的深度學(xué)習(xí)技術(shù)，尤其是nnU-Net，在復(fù)雜的大腦數(shù)據(jù)集上進行圖像分割的挑戰(zhàn)。在這項工作中，我注意到存在一個顯著的差距：對不確定性估計的忽視！然而，不確定性對于可靠的決策卻是至關(guān)重要的。

在深入研究有關(guān)細節(jié)之前，您可以隨意查看我的Github存儲庫，其中包含本文中討論的所有代碼片段。

不確定性在圖像分割中的重要性

在計算機視覺和機器學(xué)習(xí)領(lǐng)域，圖像分割是一個核心問題。無論是在醫(yī)學(xué)成像、自動駕駛汽車還是機器人領(lǐng)域，準確的分割對于有效的決策至關(guān)重要。然而，一個經(jīng)常被忽視的方面是與這些分割相關(guān)的不確定性的衡量。

為什么我們要關(guān)心圖像分割中的不確定性？

在許多實際應(yīng)用中，不正確的分割可能會導(dǎo)致可怕的后果。例如，如果一輛自動駕駛汽車誤認了一個物體，或者醫(yī)學(xué)成像系統(tǒng)錯誤地標記了一個腫瘤，后果可能是災(zāi)難性的。不確定性估計為我們提供了一個衡量模型對其預(yù)測的“確定度”的指標，從而做出更明智的決策。

我們還可以使用熵作為不確定性的度量來改進我們神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。這一領(lǐng)域被稱為“主動學(xué)習(xí)”。有關(guān)這一想法的更多的細節(jié)將在下一篇文章中探討，不過主要想法還是確定模型最不確定的區(qū)域，以便將重點放在這些區(qū)域上。例如，我們可以讓卷積神經(jīng)網(wǎng)絡(luò)（CNN）對大腦進行醫(yī)學(xué)圖像分割，但對患有腫瘤的受試者表現(xiàn)非常差。然后我們可以集中精力獲得更多這種類別的標簽。

理解熵概念

熵（Entropy）是從熱力學(xué)和信息論中借來的一個概念，它量化了系統(tǒng)中的不確定性或隨機性。在機器學(xué)習(xí)的背景下，熵可以用來測量模型預(yù)測的不確定性。

在數(shù)學(xué)上，對于具有概率質(zhì)量函數(shù)P（X）的離散隨機變量X，熵H（X）定義為：

或者在連續(xù)的情況下：

熵越高，不確定性就越大；反之亦然。

下面，我們給出一個經(jīng)典的例子來輔助充分掌握熵這個概念：

情形1：兩面不均勻的硬幣

想象一下，一枚非均勻的硬幣，正面向上的概率為p=0.9，反面向上的概率為1-p=0.1。

于是，它的熵是：

情況2：兩面均勻的硬幣

現(xiàn)在讓我們想象一個兩面均勻的硬幣，它的正面和反面都著地的概率都是p=0.5。于是，其熵為：

熵更大時，這與我們之前所說的一致，即有：更多的不確定性=更多的熵。

實際上，值得注意的是，p＝0.5對應(yīng)于最大熵：

熵的可視化描述（作者本人自制圖像）

從直覺上來看，均勻分布對應(yīng)熵最大的情況。如果每個結(jié)果都是同樣可能的，那么這將對應(yīng)于最大的不確定性。

熵在圖像分割中的實現(xiàn)

為了將其與圖像分割聯(lián)系起來，請考慮在深度學(xué)習(xí)中，最終的Softmax層通常提供每個像素的類別概率?？梢曰谶@些Softmax輸出來容易地計算每個像素的熵。

但這是如何工作的呢？

當模型對屬于特定類別的特定像素非常有信心時，Softmax層對該類別顯示出高概率（~1），而對其他類別顯示出非常小的概率（~0）。

Softmax圖層（非常有信心的情形，作者自制圖片）

相反，當模型不確定時，Softmax輸出更均勻地分布在多個類別中。

Softmax層的不確定性情況（作者自制圖片）

顯然，上面的概率結(jié)果表現(xiàn)得比較分散，如果你還記得的話，這接近于均勻分布的情況，因為模型無法決定哪個類別與像素相關(guān)。

如果你能堅持閱讀到現(xiàn)在，那就太好了！這說明你應(yīng)該對熵的工作原理有很好的直覺理解了。

案例研究：醫(yī)學(xué)影像學(xué)

接下來，讓我們使用一個醫(yī)學(xué)成像的實際例子來說明這一點，特別是胎兒的T1大腦掃描的情況。有關(guān)這個案例研究的所有代碼和圖像都可以在我的Github存儲庫中找到。

1.用Python編程計算熵

正如我們之前所說，我們正在使用神經(jīng)網(wǎng)絡(luò)給出的Softmax輸出張量。這種方法不依賴于具體的模型，它只使用每個類別的概率。

下面，讓我們來澄清一些關(guān)于我們正在處理的張量的維度的重要內(nèi)容。

如果使用2D圖像，則Softmax層的形狀應(yīng)為：

這意味著，對于每個像素（或三維像素），我們都有一個大小為Classes的向量，這樣就確定了一個像素屬于我們所擁有的每個類別的概率。

于是，熵應(yīng)該是沿著第一維度的計算結(jié)果：

def compute_entropy_4D(tensor):
 """
 計算具有形狀（number_of_classes，256256256）的4D張量上的熵。

 參數(shù)：
 tensor (np.ndarray)： 形狀 (number_of_classes, 256, 256, 256)的4D張量。

 返回值：
 np.ndarray： 形狀(256, 256, 256)的3D張量，相應(yīng)于每一個像素的熵值。
 """

 # 首先，沿著類別坐標軸歸一化張量，使其表示概率
 sum_tensor = np.sum(tensor, axis=0, keepdims=True)
 tensor_normalized = tensor / sum_tensor

 # 計算熵
 entropy_elements = -tensor_normalized * np.log2(tensor_normalized + 1e-12) # 添加一個小數(shù)，以避免log(0)
 entropy = np.sum(entropy_elements, axis=0)

 entropy = np.transpose(entropy, (2,1,0))

 total_entropy = np.sum(entropy)

 return entropy, total_entropy

2.可視化基于熵的不確定性

現(xiàn)在，讓我們在圖像分割的每個切片上使用熱圖來可視化不確定性。

T1掃描（左），分割（中），熵（右）：作者自制圖像

讓我們看看另一個例子：

T1掃描（左），分割（中），熵（右）：作者自制圖像

結(jié)果看起來很棒！事實上，我們可以看到這是一致的，因為高熵區(qū)位于形狀的輪廓處。這是正常的，因為模型并不真正懷疑每個區(qū)域中間的點，而是很難發(fā)現(xiàn)的邊界或輪廓。

做出知情決策

總體來看，本文介紹的上述這種不確定性可以通過多種不同的方式使用：

1. 隨著醫(yī)學(xué)專家越來越多地將人工智能作為一種工具，意識到模型的不確定性至關(guān)重要。這意味著，醫(yī)學(xué)專家可能會在需要更精細關(guān)注的區(qū)域花費更多時間。
2. 在主動學(xué)習(xí)或半監(jiān)督學(xué)習(xí)的背景下，我們可以利用基于熵的不確定性來關(guān)注具有最大不確定性的例子，并提高學(xué)習(xí)效率（更多關(guān)于這一點的信息，請參閱后續(xù)文章）。

主要收獲

• 熵是衡量系統(tǒng)隨機性或不確定性的一個非常強大的概念。
• 在圖像分割中利用熵是可能的。這種方法是無模型（即“不依賴具體的模型”）的，并且只使用Softmax輸出張量。
• 不確定性估計被忽略了，但它是至關(guān)重要的。優(yōu)秀的數(shù)據(jù)科學(xué)家知道如何制作好的模型。大數(shù)據(jù)科學(xué)家知道他們的模型在哪里失敗，并利用它來改進學(xué)習(xí)。

最后，如果你喜歡這篇文章，并且想了解更多的相關(guān)信息的話，請查看這個代碼倉庫：https://github.com/FrancoisPorcher?source=post_page-----812cca769d7a

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標題：Entropy based Uncertainty Prediction，作者：Fran?ois Porcher