快速學(xué)會(huì)一個(gè)算法，UNet
作者：程序員小寒
U-Net 的核心思想是通過對(duì)稱的編碼器-解碼器結(jié)構(gòu)，實(shí)現(xiàn)對(duì)輸入圖像的高效特征提取和精確的像素級(jí)分割。
今天給大家分享一個(gè)強(qiáng)大的算法模型，U-Net
U-Net 是一種廣泛應(yīng)用于圖像分割任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)，最初由 Olaf Ronneberger 等人在 2015 年為生物醫(yī)學(xué)圖像分割而提出。
由于其出色的性能和靈活性，U-Net 現(xiàn)已廣泛應(yīng)用于各種圖像分割領(lǐng)域，如醫(yī)學(xué)影像分析、遙感圖像處理等。
圖片
U-Net 的架構(gòu)
U-Net 的核心思想是通過對(duì)稱的編碼器-解碼器結(jié)構(gòu)，實(shí)現(xiàn)對(duì)輸入圖像的高效特征提取和精確的像素級(jí)分割。
UNet的架構(gòu)由兩部分組成：
- 收縮路徑（編碼器）類似于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，用于捕捉上下文信息。通過一系列卷積層和池化層逐步降低空間分辨率，同時(shí)增加特征通道數(shù)。
- 擴(kuò)展路徑（解碼器）逐步恢復(fù)空間分辨率，結(jié)合編碼器中的高分辨率特征，通過上采樣和卷積操作生成精細(xì)的分割圖。
兩部分通過跳躍連接（Skip Connections）連接，允許高分辨率特征與解碼器中的對(duì)應(yīng)層進(jìn)行融合，從而提高分割的精確度。
編碼器
編碼器的主要作用是通過一系列的卷積層和池化層逐步提取圖像的特征，同時(shí)減少空間維度（下采樣）。
圖片
具體結(jié)構(gòu)如下：
- 卷積層：通常采用多個(gè) 3×3 的卷積核，步幅為 1，無填充（padding）。
- 激活函數(shù)：通常使用 ReLU 激活函數(shù)。
- 池化層：采用 2×2 的最大池化（Max Pooling），步幅為 2，用于下采樣。
每經(jīng)過一個(gè)下采樣步驟，特征圖的空間尺寸減半，通道數(shù)增加一倍，以捕捉更高級(jí)別的特征。
解碼器
解碼器的主要作用是通過上采樣逐步恢復(fù)圖像的空間分辨率，同時(shí)結(jié)合編碼器的特征進(jìn)行精細(xì)的分割。
圖片
具體結(jié)構(gòu)如下：
- 上采樣：通常采用轉(zhuǎn)置卷積將特征圖的空間尺寸放大一倍。
- 卷積層：與編碼器類似，使用 3×3 的卷積核。
- 激活函數(shù)：使用 ReLU 激活函數(shù)。
跳躍連接
跳躍連接是 U-Net 的關(guān)鍵設(shè)計(jì)，通過將編碼器中每個(gè)下采樣步驟的特征圖與解碼器中相應(yīng)上采樣步驟的特征圖進(jìn)行拼接，保留了高分辨率的信息，幫助解碼器更準(zhǔn)確地定位和分割目標(biāo)區(qū)域。
圖片
U-Net 的優(yōu)勢
- 高效的特征利用通過跳躍連接，U-Net 能夠充分利用不同層次的特征信息，既包含了高層的語義信息，又保留了低層的空間信息，提高了分割的準(zhǔn)確性。
- 對(duì)少量數(shù)據(jù)的有效利用U-Net 在設(shè)計(jì)上適合處理數(shù)據(jù)量較少的任務(wù)，尤其在生物醫(yī)學(xué)圖像處理中表現(xiàn)出色。
- 端到端訓(xùn)練整個(gè) U-Net 可以通過端到端的方式進(jìn)行訓(xùn)練，簡化了模型設(shè)計(jì)和優(yōu)化過程。
案例分享
下面是一個(gè)使用 UNet 架構(gòu)進(jìn)行圖像分割的示例代碼。
該示例使用 TensorFlow 和 Keras 構(gòu)建 UNet 模型，并在合成數(shù)據(jù)上進(jìn)行訓(xùn)練。
首先，我們來構(gòu)建一個(gè) Unet 模型。
import tensorflow as tf
from tensorflow.keras import layers, models
def unet_model(input_size=(128, 128, 3)):
inputs = layers.Input(input_size)
# 編碼器
c1 = layers.Conv2D(64, (3, 3), activatinotallow='relu', padding='same')(inputs)
c1 = layers.Conv2D(64, (3, 3), activatinotallow='relu', padding='same')(c1)
p1 = layers.MaxPooling2D((2, 2))(c1)
c2 = layers.Conv2D(128, (3, 3), activatinotallow='relu', padding='same')(p1)
c2 = layers.Conv2D(128, (3, 3), activatinotallow='relu', padding='same')(c2)
p2 = layers.MaxPooling2D((2, 2))(c2)
c3 = layers.Conv2D(256, (3, 3), activatinotallow='relu', padding='same')(p2)
c3 = layers.Conv2D(256, (3, 3), activatinotallow='relu', padding='same')(c3)
p3 = layers.MaxPooling2D((2, 2))(c3)
c4 = layers.Conv2D(512, (3, 3), activatinotallow='relu', padding='same')(p3)
c4 = layers.Conv2D(512, (3, 3), activatinotallow='relu', padding='same')(c4)
p4 = layers.MaxPooling2D(pool_size=(2, 2))(c4)
# 底部
c5 = layers.Conv2D(1024, (3, 3), activatinotallow='relu', padding='same')(p4)
c5 = layers.Conv2D(1024, (3, 3), activatinotallow='relu', padding='same')(c5)
# 解碼器
u6 = layers.Conv2DTranspose(512, (2, 2), strides=(2, 2), padding='same')(c5)
u6 = layers.concatenate([u6, c4])
c6 = layers.Conv2D(512, (3, 3), activatinotallow='relu', padding='same')(u6)
c6 = layers.Conv2D(512, (3, 3), activatinotallow='relu', padding='same')(c6)
u7 = layers.Conv2DTranspose(256, (2, 2), strides=(2, 2), padding='same')(c6)
u7 = layers.concatenate([u7, c3])
c7 = layers.Conv2D(256, (3, 3), activatinotallow='relu', padding='same')(u7)
c7 = layers.Conv2D(256, (3, 3), activatinotallow='relu', padding='same')(c7)
u8 = layers.Conv2DTranspose(128, (2, 2), strides=(2, 2), padding='same')(c7)
u8 = layers.concatenate([u8, c2])
c8 = layers.Conv2D(128, (3, 3), activatinotallow='relu', padding='same')(u8)
c8 = layers.Conv2D(128, (3, 3), activatinotallow='relu', padding='same')(c8)
u9 = layers.Conv2DTranspose(64, (2, 2), strides=(2, 2), padding='same')(c8)
u9 = layers.concatenate([u9, c1], axis=3)
c9 = layers.Conv2D(64, (3, 3), activatinotallow='relu', padding='same')(u9)
c9 = layers.Conv2D(64, (3, 3), activatinotallow='relu', padding='same')(c9)
outputs = layers.Conv2D(1, (1, 1), activatinotallow='sigmoid')(c9)
model = models.Model(inputs=[inputs], outputs=[outputs])
return model
# 模型實(shí)例化
model = unet_model()
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.summary()為了演示，我們將生成一些合成圖像和對(duì)應(yīng)的掩碼。實(shí)際應(yīng)用中，你應(yīng)該使用真實(shí)的圖像和標(biāo)注數(shù)據(jù)。
import numpy as np
import matplotlib.pyplot as plt
def generate_synthetic_data(num_samples, img_size):
X = np.zeros((num_samples, img_size, img_size, 3), dtype=np.float32)
y = np.zeros((num_samples, img_size, img_size, 1), dtype=np.float32)
for i in range(num_samples):
# 隨機(jī)生成圓形
radius = np.random.randint(10, img_size//4)
center_x = np.random.randint(radius, img_size - radius)
center_y = np.random.randint(radius, img_size - radius)
Y, X_grid = np.ogrid[:img_size, :img_size]
dist_from_center = np.sqrt((X_grid - center_x)**2 + (Y - center_y)**2)
mask = dist_from_center <= radius
y[i, mask, 0] = 1.0
# 圖像為掩碼的隨機(jī)顏色
X[i] = np.random.rand(img_size, img_size, 3) * mask[..., np.newaxis]
return X, y
# 生成訓(xùn)練和驗(yàn)證數(shù)據(jù)
train_X, train_y = generate_synthetic_data(1000, 128)
val_X, val_y = generate_synthetic_data(200, 128)
# 可視化樣本
def display_sample(X, y, index):
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plt.imshow(X[index])
plt.title('Image')
plt.subplot(1,2,2)
plt.imshow(y[index].squeeze(), cmap='gray')
plt.title('Mask')
plt.show()
display_sample(train_X, train_y, 0)
圖片
接下來，我們來訓(xùn)練模型。
# 使用回調(diào)函數(shù)保存最佳模型
checkpoint = tf.keras.callbacks.ModelCheckpoint('unet_best_model.h5',
mnotallow='val_loss',
verbose=1,
save_best_notallow=True,
mode='min')
# 訓(xùn)練模型
history = model.fit(train_X, train_y,
validation_data=(val_X, val_y),
epochs=20,
batch_size=16,
callbacks=[checkpoint])評(píng)估和預(yù)測
# 加載最佳模型
model.load_weights('unet_best_model.h5')
# 在驗(yàn)證集上評(píng)估
loss, accuracy = model.evaluate(val_X, val_y)
print(f'Validation Loss: {loss}')
print(f'Validation Accuracy: {accuracy}')
# 進(jìn)行預(yù)測并可視化
def predict_and_display(model, X, y, index):
pred = model.predict(X[index:index+1])[0]
pred_mask = pred > 0.5
plt.figure(figsize=(12,4))
plt.subplot(1,3,1)
plt.imshow(X[index])
plt.title('Image')
plt.subplot(1,3,2)
plt.imshow(y[index].squeeze(), cmap='gray')
plt.title('True Mask')
plt.subplot(1,3,3)
plt.imshow(pred_mask.squeeze(), cmap='gray')
plt.title('Predicted Mask')
plt.show()
predict_and_display(model, val_X, val_y, 0)
圖片
責(zé)任編輯：武曉燕
來源：
程序員學(xué)長
