keras中最常用深度學習的API
眾所周知，利用Keras-Python庫可以快速、輕松地創(chuàng)建屬于自己的深度學習的模型，今天我們就來介紹一些我們常用的API函數(shù)。
序貫模型(Sequential)API允許你為大多數(shù)問題逐層的創(chuàng)建模型。它的局限性在于它不允許你創(chuàng)建共享層或者是具有多個輸入或輸出的模型。
Keras中的API函數(shù)是創(chuàng)建更多靈活性模型的替代方法，其中也包括創(chuàng)建更復雜的模型。
在本篇博客中，你將發(fā)現(xiàn)如何在Keras中使用靈活的API函數(shù)來定義深度學習模型。
閱讀完成后，你將知道：
- 連續(xù)的API和API函數(shù)之間的區(qū)別。
- 如何使用API函數(shù)定義簡單的多層感知器，卷積神經網絡和循環(huán)神經網絡模型。
- 如何使用共享層和多個輸入和輸出定義更復雜的模型。
OK，讓我們開始吧。
教程概述
本教程分為6部分：
- Keras序貫模型。
- Keras功能函數(shù)模型。
- 標準網絡模型。
- 共享層模型。
- 多個輸入和輸出模型。
- ***練習。
1.Keras序貫模型
Keras提供了一個Sequential模型的API。
這是創(chuàng)建深度學習模型的一種方法，其中創(chuàng)建了Sequential類的實例，并創(chuàng)建了模型圖層并將其添加其中。
例如，可以將層定義并傳遞給Sequential作為數(shù)組：
- from keras.models import Sequential
- from keras.layers import Dense
- model = Sequential([Dense(2, input_dim=1), Dense(1)])
層也可以分段添加：
- from keras.models import Sequential
- from keras.layers import Dense
- model = Sequential()
- model.add(Dense(2, input_dim=1))
- model.add(Dense(1))
序貫模型的API在大多數(shù)情況下非常適合開發(fā)深度學習模型，但也有一些限制。例如，它不能定義具有多個不同輸入源的模型，因為那樣會產生多個輸出目標。
2.Keras功能函數(shù)模型
Keras功能API為定義模型提供了更靈活的方式。
它允許你定義多個輸入或輸出的模型以及可以共享圖層的模型。除此之外，它還允許你定義臨時的非循環(huán)網絡圖。
模型通過創(chuàng)建層的實例并將它們直接彼此成對連接來定義，然后定義一個模型，該模型的指定層作為模型的輸入和輸出。
我們來看看Keras功能API的三個獨特方面：
2.1定義輸入
與Sequential模型不同，你必須創(chuàng)建并定義一個獨立的輸入層，該層指定輸入數(shù)據(jù)的形狀。
輸入層采用一個模型參數(shù)，它是一個代表輸入數(shù)據(jù)維度的元組。
當輸入數(shù)據(jù)為一維時，例如對于多層感知器，該模型必須明確留出在訓練網絡分割數(shù)據(jù)時所使用的小批量大小的形狀。因此，模型元組始終以掛起的***一維(2)定義，例如：
- from keras.layers import Input
- visible = Input(shape=(2,))
2.2連接層
模型中的層可以成對連接，這是通過在定義每個新圖層時指定輸入來自哪里。使用括號符號，使得在創(chuàng)建圖層之后，指定從當前圖層的輸入到即將到達的圖層。
讓我們用一個簡單的例子來說明這一點。我們可以創(chuàng)建如上所述的輸入層，然后創(chuàng)建一個隱藏層，作為僅從輸入層接收輸入的密集層。
- from keras.layers import Input
- from keras.layers import Dense
- visible = Input(shape=(2,))
- hidden = Dense(2)(visible)
正是通過這種連接層的方法，使功能API更具有靈活性。你可以看到開始定義ad-hoc圖層的特殊圖形變得多么的容易。
2.3創(chuàng)建模型
創(chuàng)建模型所需的所有圖層并將其連接在一起后，接下來必須定義模型。與Sequential API一樣，該模型是你可以概述、擬合、評估和使用做出預測。
Keras提供了一個Model類，你可以使用它從創(chuàng)建的圖層時創(chuàng)建模型。它要求你需要指定輸入和輸出層。例如：
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- visible = Input(shape=(2,))
- hidden = Dense(2)(visible)
- model = Model(inputs=visible, outputs=hidden)
既然現(xiàn)在我們知道了Keras功能API的所有關鍵部分，我們通過定義一套不同的模型實踐一下我們的學習成果。
以下每個示例都是可執(zhí)行的，并打印結構并創(chuàng)建圖表。我建議為你自己的模型做這個，這樣可以讓你清楚你的定義。
我希望這些示例可以為你在以后使用功能API定義自己的模型時提供了模板。
3.標準網絡模型
當開始使用功能API時，***先了解一些關于標準神經網絡模型的定義。在本節(jié)中，我們將介紹定義一個簡單的多層感知器，卷積神經網絡和循環(huán)神經網絡。
這些例子將為以后理解更詳細的例子奠定基礎。
3.1多層感知器
在本節(jié)中，我們?yōu)槎M制分類定義了一個多層Perceptron模型。該模型有10個輸入，3個隱藏層，10個神經元，輸出層有1個輸出。在每個隱藏層中使用整流線性激活函數(shù)，在輸出層使用S形激活函數(shù)進行二進制分類。
- # Multilayer Perceptron
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- visible = Input(shape=(10,))
- hidden1 = Dense(10, activation='relu')(visible)
- hidden2 = Dense(20, activation='relu')(hidden1)
- hidden3 = Dense(10, activation='relu')(hidden2)
- output = Dense(1, activation='sigmoid')(hidden3)
- model = Model(inputs=visible, outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='multilayer_perceptron_graph.png')
運行示例打印網絡的結構：
- _________________________________________________________________
- Layer (type) Output Shape Param #
- =================================================================
- input_1 (InputLayer) (None, 10) 0
- _________________________________________________________________
- dense_1 (Dense) (None, 10) 110
- _________________________________________________________________
- dense_2 (Dense) (None, 20) 220
- _________________________________________________________________
- dense_3 (Dense) (None, 10) 210
- _________________________________________________________________
- dense_4 (Dense) (None, 1) 11
- =================================================================
- Total params: 551
- Trainable params: 551
- Non-trainable params: 0
- _________________________________________________________________
模型圖的創(chuàng)建并保存到文件：
3.2卷積神經網絡
在本節(jié)中，我們將定義一個用于圖像分類的卷積神經網絡。
該模型接收黑白64×64圖像作為輸入，然后兩個卷積層和匯集層的序列作為特征提取器，隨后是完全連接的層來解釋特征，并且輸出層是具有S形激活函數(shù)。
- # Convolutional Neural Network
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers.convolutional import Conv2D
- from keras.layers.pooling import MaxPooling2D
- visible = Input(shape=(64,64,1))
- conv1 = Conv2D(32, kernel_size=4, activation='relu')(visible)
- pool1 = MaxPooling2D(pool_size=(2, 2))(conv1)
- conv2 = Conv2D(16, kernel_size=4, activation='relu')(pool1)
- pool2 = MaxPooling2D(pool_size=(2, 2))(conv2)
- hidden1 = Dense(10, activation='relu')(pool2)
- output = Dense(1, activation='sigmoid')(hidden1)
- model = Model(inputs=visible, outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='convolutional_neural_network.png')
運行示例：
- _________________________________________________________________
- Layer (type) Output Shape Param #
- =================================================================
- input_1 (InputLayer) (None, 64, 64, 1) 0
- ••••••
- Total params: 8,933
- Trainable params: 8,933
- Non-trainable params: 0
- ________________________________________________________________
模型圖的圖創(chuàng)建并保存到文件：
3.3循環(huán)神經網絡
在本節(jié)中，我們將定義一個LSTM循環(huán)神經網絡用于序列分類。
該模型是100個時間步長作為輸入，該模型具有單個LSTM隱藏層，用于從序列中提取特征，然后是完全連接的層以解釋LSTM輸出，隨后是用于進行二進制預測的輸出層。
- # Recurrent Neural Network
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers.recurrent import LSTM
- visible = Input(shape=(100,1))
- hidden1 = LSTM(10)(visible)
- hidden2 = Dense(10, activation='relu')(hidden1)
- output = Dense(1, activation='sigmoid')(hidden2)
- model = Model(inputs=visible, outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='recurrent_neural_network.png')
運行示例總結模型層。
- _________________________________________________________________
- Layer (type) Output Shape Param #
- =================================================================
- •••••••
- =================================================================
- Total params: 601
- Trainable params: 601
- Non-trainable params: 0
- _________________________________________________________________
模型圖的創(chuàng)建并保存到文件：
4.共享層模型
多層可以共享一層的輸出。
例如，可能存在來自輸入的多個不同的特征提取層，或者用于解釋特征提取層輸出的多個層。
我們來看看這兩個例子。
4.1共享輸入層
在本節(jié)中，我們使用不同大小的內核定義多個卷積層來解釋圖像輸入。
該模型輸入采用大小為64×64像素的黑白圖像。有兩個CNN特征提取子模型共享該輸入：***個內核大小為4，第二個內核大小為8。這些特征提取子模型的輸出被平坦化為向量，并連接成一個長向量，并傳遞到完全連接的層，以便在最終輸出層之前進行二進制分類。
- # Shared Input Layer
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers import Flatten
- from keras.layers.convolutional import Conv2D
- from keras.layers.pooling import MaxPooling2D
- from keras.layers.merge import concatenate
- # input layer
- visible = Input(shape=(64,64,1))
- # first feature extractor
- conv1 = Conv2D(32, kernel_size=4, activation='relu')(visible)
- pool1 = MaxPooling2D(pool_size=(2, 2))(conv1)
- flat1 = Flatten()(pool1)
- # second feature extractor
- conv2 = Conv2D(16, kernel_size=8, activation='relu')(visible)
- pool2 = MaxPooling2D(pool_size=(2, 2))(conv2)
- flat2 = Flatten()(pool2)
- # merge feature extractors
- merge = concatenate([flat1, flat2])
- # interpretation layer
- hidden1 = Dense(10, activation='relu')(merge)
- # prediction output
- output = Dense(1, activation='sigmoid')(hidden1)
- model = Model(inputs=visible, outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='shared_input_layer.png')
運行示例總結模型層。
- ___________________________________________________________________
- Layer (type) Output Shape Param # Connected to
- ===================================================================
- •••••••••••••••••••••••
- Total params: 415,045
- Trainable params: 415,045
- Non-trainable params: 0
- ___________________________________________________________________
模型圖的被創(chuàng)建并保存到文件：
4.2共享特征提取層
在本節(jié)中，我們使用兩個并行子模型解釋LSTM特征提取器的輸出以進行序列分類。
模型的輸入是一個特征為100的時間步長，具有10個存儲單元的LSTM層解釋該序列。***種解釋模式是淺層的單層完全連接層，第二種是深層的3層模型。兩個解釋模型的輸出都被連接成一個長向量，傳遞給用于進行二進制預測的輸出層。
- # Shared Feature Extraction Layer
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers.recurrent import LSTM
- from keras.layers.merge import concatenate
- # define input
- visible = Input(shape=(100,1))
- # feature extraction
- extract1 = LSTM(10)(visible)
- # first interpretation model
- interp1 = Dense(10, activation='relu')(extract1)
- # second interpretation model
- interp11 = Dense(10, activation='relu')(extract1)
- interp12 = Dense(20, activation='relu')(interp11)
- interp13 = Dense(10, activation='relu')(interp12)
- # merge interpretation
- merge = concatenate([interp1, interp13])
- # output
- output = Dense(1, activation='sigmoid')(merge)
- model = Model(inputs=visible, outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='shared_feature_extractor.png')
運行示例總結模型層。
- ___________________________________________________________________
- Layer (type) Output Shape Param # Connected to
- •••••••
- Total params: 1,151
- Trainable params: 1,151
- Non-trainable params: 0
- ___________________________________________________________________
模型圖被創(chuàng)建并保存到文件。
5.多個輸入和輸出模型
功能API也可用于開發(fā)具有多個輸入的更復雜的模型，可能具有不同的模態(tài)。它也可以用于開發(fā)產生多個輸出的模型。
我們將在本節(jié)中查看每個示例。
5.1多輸入模型
我們將開發(fā)一個圖像分類模型，它將兩個版本的圖像作為輸入，每個版本的大小不同。具體是黑白64×64版，彩色32×32版。單獨的特征提取CNN模型在每個模型上運行，然后將兩個模型的結果連接起來進行解釋和最終預測。
請注意，在創(chuàng)建Model()實例時，我們將兩個輸入圖層定義為數(shù)組。
- model = Model(inputs=[visible1, visible2], outputs=output)
完整的示例如下所示。
- # Multiple Inputs
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers import Flatten
- from keras.layers.convolutional import Conv2D
- from keras.layers.pooling import MaxPooling2D
- from keras.layers.merge import concatenate
- # first input model
- visible1 = Input(shape=(64,64,1))
- conv11 = Conv2D(32, kernel_size=4, activation='relu')(visible1)
- pool11 = MaxPooling2D(pool_size=(2, 2))(conv11)
- conv12 = Conv2D(16, kernel_size=4, activation='relu')(pool11)
- pool12 = MaxPooling2D(pool_size=(2, 2))(conv12)
- flat1 = Flatten()(pool12)
- # second input model
- visible2 = Input(shape=(32,32,3))
- conv21 = Conv2D(32, kernel_size=4, activation='relu')(visible2)
- pool21 = MaxPooling2D(pool_size=(2, 2))(conv21)
- conv22 = Conv2D(16, kernel_size=4, activation='relu')(pool21)
- pool22 = MaxPooling2D(pool_size=(2, 2))(conv22)
- flat2 = Flatten()(pool22)
- # merge input models
- merge = concatenate([flat1, flat2])
- # interpretation model
- hidden1 = Dense(10, activation='relu')(merge)
- hidden2 = Dense(10, activation='relu')(hidden1)
- output = Dense(1, activation='sigmoid')(hidden2)
- model = Model(inputs=[visible1, visible2], outputs=output)
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='multiple_inputs.png')
運行示例：
- ___________________________________________________________________
- Layer (type) Output Shape Param # Connected to
- •••••••••
- input_1 (InputLayer) (None, 64, 64, 1) 0
- Total params: 49,699
- Trainable params: 49,699
- Non-trainable params: 0
- ___________________________________________________________________
模型圖被創(chuàng)建并保存到文件。
5.2多輸出模型
在本節(jié)中，我們將開發(fā)出一種可以進行兩種不同類型預測的模型。給定一個特征的100個時間步長的輸入序列，該模型將對序列進行分類并輸出具有相同長度的新序列。
LSTM層解釋輸入序列，并返回每個時間步長的隱藏狀態(tài)。***個輸出模型創(chuàng)建一個堆棧的LSTM，解釋特征，并進行二進制預測。第二個輸出模型使用相同的輸出層對每個輸入時間步長進行實值預測。
- # Multiple Outputs
- from keras.utils import plot_model
- from keras.models import Model
- from keras.layers import Input
- from keras.layers import Dense
- from keras.layers.recurrent import LSTM
- from keras.layers.wrappers import TimeDistributed
- # input layer
- visible = Input(shape=(100,1))
- # feature extraction
- extract = LSTM(10, return_sequences=True)(visible)
- # classification output
- class11 = LSTM(10)(extract)
- class12 = Dense(10, activation='relu')(class11)
- output1 = Dense(1, activation='sigmoid')(class12)
- # sequence output
- output2 = TimeDistributed(Dense(1, activation='linear'))(extract)
- # output
- model = Model(inputs=visible, outputs=[output1, output2])
- # summarize layers
- print(model.summary())
- # plot graph
- plot_model(model, to_file='multiple_outputs.png')
運行示例。
- ___________________________________________________________________
- Layer (type) Output Shape Param # Connected to
- ===================================================================
- input_1 (InputLayer) (None, 100, 1) 0
- ___________________________________________________________________
- ········
- Total params: 1,452
- Trainable params: 1,452
- Non-trainable params: 0
- ___________________________________________________________________
模型圖的創(chuàng)建并保存到文件：
6.***做法
在本節(jié)中，我給你一些提示，以便在定義自己的模型時充分利用功能性API。
- 一致的變量名。對輸入(可見)和輸出層(輸出)使用相同的變量名稱，甚至可以使用隱藏層(hidden1，hidden2)。它將有助于正確地將事物聯(lián)系起來。
- 查看圖層圖。始終打印模型摘要并查看圖層輸出，以確保模型按預期連接在一起。
- 查看圖表。創(chuàng)建一個模型圖的情節(jié)，并檢查它，以確保所有的東西都按照你的意圖放在一起。
- 命名圖層。你可以為查看模型圖的名稱和繪圖時使用的圖層分配名稱。例如：Dense(1，name =’hidden1’)。
- 單獨的子模型。考慮分開子模型的發(fā)展，并將子模型結合在一起。
