使用機器學(xué)習(xí)對圖片進行分類
服裝數(shù)據(jù)集
服裝數(shù)據(jù)集和MNIST數(shù)據(jù)集很像,有需要的可以查看教程《MNIST數(shù)據(jù)集》,包含70000個灰度圖,每個圖片28 x 28像素。
時裝數(shù)據(jù)集
在這里將使用60000張圖片進行訓(xùn)練,使用10000張圖片進行評估,可以直接使用Keras進行加載。
fashion_mnist = tf.keras.datasets.fashion_mnist(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
所有的圖片可分為10個種類:
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat', 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
數(shù)據(jù)預(yù)處理:
在將數(shù)據(jù)送入到神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前,需要對數(shù)據(jù)進行預(yù)處理,查看一張訓(xùn)練的圖片,像素值的分布范圍為[0, 255]
鞋子
對數(shù)據(jù)進行歸一化處理:
train_images = train_images / 255.0test_images = test_images / 255.0
為了驗證數(shù)據(jù)的正確性,展示前25張圖片以及圖片的分類:
服裝
建立模型
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模塊就是層(Layer),層會從傳遞的數(shù)據(jù)中提取特征,這些特征對問題的解決很有幫助。
很多深度學(xué)習(xí)都是由一系列簡單的層串聯(lián)而成,大部分的層比如Dense,在訓(xùn)練過程中有可學(xué)習(xí)的參數(shù)。
model = tf.keras.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10)])
Flatten層將二維(28 x 28)的圖片轉(zhuǎn)化為一維的數(shù)組,這一層沒有參數(shù)可以學(xué)習(xí),僅僅只是格式化數(shù)據(jù)。
第一個Dense層有128個節(jié)點或者說神經(jīng)元,第二個Dense層返回長度為10的數(shù)組,每個節(jié)點包含當前圖片屬于哪個分類的得分。
模型編譯
模型需要進行三個設(shè)置:
- 損失函數(shù) - 這個主要用于評估模型在訓(xùn)練過程中的準確性
- 優(yōu)化器 - 模型如何更新
- 量度 - 用于監(jiān)測訓(xùn)練和測試步驟
model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])
填入訓(xùn)練數(shù)據(jù):
model.fit(train_images, train_labels, epochs=10)
評估模型的正確性:
test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)print('Test accuracy:', test_acc)
顯示結(jié)果:
Test accuracy: 0.8835999965667725
訓(xùn)練過程輸出:
1875/1875 [==============================] - 1s 523us/step - loss: 0.2379 - accuracy: 0.9110
可以看到測試數(shù)據(jù)的正確性是要略低于訓(xùn)練數(shù)據(jù)的正確性的,這個訓(xùn)練和測試的差距叫做overfitting(過擬合),過擬合發(fā)生在機器學(xué)習(xí)模型對于沒有處理過的數(shù)據(jù)表現(xiàn)更差。
預(yù)測
模型訓(xùn)練之后,你可以使用它來對一些圖片進行預(yù)測,添加一個Softmax層將結(jié)果轉(zhuǎn)換為置信度,它更容易被理解
predictions = probability_model.predict(test_images)print(predictions[0])
可以看到第0張測試圖片屬于每個分類的置信度:
[4.7003473e-07 2.8711662e-09 1.8403462e-08 3.7643213e-09 2.0236126e-08 8.2177273e-04 1.0194674e-06 9.5114678e-02 2.8414237e-07 9.0406173e-01]
第9個數(shù)據(jù)的置信度最高,通過打印圖片的標簽也是9,說明預(yù)測正確。
隨機選擇一些圖片輸出:
置信度分布
第13張圖片81%的可能性是涼鞋,說明機器學(xué)習(xí)預(yù)測錯誤,它應(yīng)該是跑鞋。
也可以對單張圖片進行預(yù)測,雖然是單張圖片,但是Keras仍然需要數(shù)組進行傳遞,將圖片添加到集合中。
img = (np.expand_dims(img, 0))
進行預(yù)測:
predictions_single = probability_model.predict(img)
總結(jié)
以上就是建立神經(jīng)網(wǎng)絡(luò)的簡單過程,分為數(shù)據(jù)處理、模型的訓(xùn)練、預(yù)測等幾個步驟。