在本文中，我們將探索TensorFlow 2.0的10個(gè)特性。

[[326673]]

1(a). 用于構(gòu)建輸入管道的tf.data API

從張量構(gòu)建管道：

>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> iter(dataset).next().numpy() 
8 

Batch和Shuffle：

# Shuffle 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
>>> iter(dataset).next().numpy() 
0 
# Batch 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
>>> iter(dataset).next().numpy() 
array([8, 3], dtype=int32) 
# Shuffle and Batch 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
>>> iter(dataset).next().numpy() 
array([3, 0], dtype=int32) 

壓縮兩個(gè)Datsets：

>>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
>>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
>>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
>>> iter(dataset).next() 
(<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>) 

映射外部函數(shù)：

def into_2(num): 
     return num * 2 
>>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
>>> iter(dataset).next().numpy() 
16 

1(b). ImageDataGenerator

這是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和預(yù)處理中實(shí)時(shí)生成數(shù)據(jù)集切片和數(shù)據(jù)增強(qiáng)。

生成器允許直接從目錄或dataframes中訪問(wèn)數(shù)據(jù)流。

關(guān)于ImageDataGenerator中的數(shù)據(jù)增強(qiáng)的一個(gè)誤解是，它會(huì)將更多數(shù)據(jù)添加到現(xiàn)有數(shù)據(jù)集中。雖然這是數(shù)據(jù)增強(qiáng)的實(shí)際定義，但在ImageDataGenerator中，數(shù)據(jù)集中的圖像在訓(xùn)練中按不同的步驟動(dòng)態(tài)轉(zhuǎn)換，以便模型可以在它沒(méi)有看到有噪聲的數(shù)據(jù)上進(jìn)行訓(xùn)練。

train_datagen = ImageDataGenerator( 
        rescale=1./255, 
        shear_range=0.2, 
        zoom_range=0.2, 
        horizontal_flip=True 
) 

在這里，對(duì)所有樣本進(jìn)行重縮放(用于歸一化)，而其他參數(shù)則用于增強(qiáng)。

train_generator = train_datagen.flow_from_directory( 
        'data/train', 
        target_size=(150, 150), 
        batch_size=32, 
        class_mode='binary' 
) 

我們?yōu)閷?shí)時(shí)數(shù)據(jù)流指定目錄。這也可以使用dataframes來(lái)完成。

train_generator = flow_from_dataframe( 
    dataframe, 
    x_col='filename', 
    y_col='class', 
    class_mode='categorical', 
    batch_size=32 
) 

x_col參數(shù)定義了圖像的完整路徑，y_col參數(shù)定義了用于分類的label列。

盡管需要指定steps_per_epoch參數(shù)，它實(shí)際上是number_of_samples // batch_size。

model.fit( 
    train_generator, 
    validation_data=val_generator, 
    epochs=EPOCHS, 
    steps_per_epoch=(num_samples // batch_size), 
    validation_steps=(num_val_samples // batch_size) 
) 

2. 使用tf.image進(jìn)行數(shù)據(jù)增強(qiáng)

在數(shù)據(jù)不足的情況下，對(duì)數(shù)據(jù)進(jìn)行更改并將其作為單獨(dú)的數(shù)據(jù)點(diǎn)，是在較少數(shù)據(jù)的情況下進(jìn)行訓(xùn)練的非常有效的方法。

tf.image API具有用于轉(zhuǎn)換圖像的工具，請(qǐng)看以下Python示例：

flipped = tf.image.flip_left_right(image) 
visualise(image, flipped) 

saturated = tf.image.adjust_saturation(image, 5) 
visualise(image, saturated) 

rotated = tf.image.rot90(image) 
visualise(image, rotated) 

cropped = tf.image.central_crop(image, central_fraction=0.5) 
visualise(image, cropped) 

3. TensorFlow數(shù)據(jù)集

pip install tensorflow-datasets 

這是一個(gè)非常有用的庫(kù)，因?yàn)樗藅ensorflow收集的知名數(shù)據(jù)集。

import tensorflow_datasets as tfds 
mnist_data = tfds.load("mnist") 
mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
assert isinstance(mnist_train, tf.data.Dataset) 

在tensorflow-datasets中可用的數(shù)據(jù)集的詳細(xì)列表可以在文檔的Datasets頁(yè)面上找到。

音頻、圖像、圖像分類、對(duì)象檢測(cè)、結(jié)構(gòu)化、摘要、文本、翻譯、視頻都是tfds提供的類型。

4. 使用預(yù)訓(xùn)練的模型進(jìn)行遷移學(xué)習(xí)

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一種新潮流，TensorFlow提供了經(jīng)過(guò)基準(zhǔn)測(cè)試的預(yù)訓(xùn)練模型，可以很容易地針對(duì)所需的用例進(jìn)行擴(kuò)展。

base_model = tf.keras.applications.MobileNetV2( 
    input_shape=IMG_SHAPE, 
    include_top=False, 
    weights='imagenet' 
) 

可以使用附加層或不同的模型輕松擴(kuò)展這個(gè)base_model。如：

model = tf.keras.Sequential([ 
    base_model, 
    global_average_layer, 
    prediction_layer 
]) 

有關(guān)tf.keras.applications下其他模型或模塊的詳細(xì)列表，請(qǐng)參閱docs頁(yè)面。

5. Estimators

Estimator是TensorFlow完整模型的高級(jí)表示，其設(shè)計(jì)目的是易于縮放和異步訓(xùn)練。

內(nèi)置的estimators提供了非常高級(jí)的模型抽象，因此您可以直接專注于訓(xùn)練模型，而不必?fù)?dān)心其復(fù)雜性。例如：

linear_est = tf.estimator.LinearClassifier( 
    feature_columnsfeature_columns=feature_columns 
) 
linear_est.train(train_input_fn) 
result = linear_est.evaluate(eval_input_fn) 

TensorFlow有許多內(nèi)置的estimators，包括LinearRegressor，BoostedTreesClassifier等。Estimators也可以自定義。

6. 自定義層

神經(jīng)網(wǎng)絡(luò)是已知的多層網(wǎng)絡(luò)，其中的層可以是不同的類型。TensorFlow包含許多預(yù)定義層(例如Dense，LSTM等)。但是對(duì)于更復(fù)雜的架構(gòu)，層的邏輯可能會(huì)復(fù)雜得多。TensorFlow允許構(gòu)建自定義層，這可以通過(guò)對(duì)tf.keras.layers.Layer類進(jìn)行子類化來(lái)完成。

class CustomDense(tf.keras.layers.Layer): 
    def __init__(self, num_outputs): 
        super(CustomDense, self).__init__() 
        self.num_outputs = num_outputs 
 
    def build(self, input_shape): 
        selfself.kernel = self.add_weight( 
            "kernel", 
            shape=[int(input_shape[-1]), 
            self.num_outputs] 
        ) 
 
    def call(self, input): 
        return tf.matmul(input, self.kernel) 

實(shí)現(xiàn)自定義層的最佳方法是擴(kuò)展tf.keras.Layer類：

• __init__，可以進(jìn)行所有與輸入無(wú)關(guān)的初始化。
• build，您可以了解輸入張量的形狀，并可以進(jìn)行其余的初始化。
• call，進(jìn)行forward計(jì)算。

盡管可以在__init__中完成核初始化，但最好在build中進(jìn)行初始化，否則，您將必須在新層創(chuàng)建的每個(gè)實(shí)例上顯式指定input_shape。

7. 定制訓(xùn)練

tf.keras序列和模型API使訓(xùn)練模型更容易。但是，大多數(shù)時(shí)候在訓(xùn)練復(fù)雜模型時(shí)會(huì)使用自定義損失函數(shù)。此外，模型訓(xùn)練也可以不同于缺省值(例如，將梯度分別應(yīng)用于不同的模型組件)。

TensorFlow的自動(dòng)微分有助于高效地計(jì)算梯度。Python示例如下：

def train(model, inputs, outputs, learning_rate): 
    with tf.GradientTape() as t: 
        # Computing Losses from Model Prediction 
        current_loss = loss(outputs, model(inputs)) 
    # Gradients for Trainable Variables with Obtained Losses 
    dW, db = t.gradient(current_loss, [model.W, model.b]) 
    # Applying Gradients to Weights 
    model.W.assign_sub(learning_rate * dW) 
    model.b.assign_sub(learning_rate * db) 

可以針對(duì)多個(gè)epochs重復(fù)此循環(huán)，并且可以根據(jù)用例使用其他自定義的設(shè)置。

8. 檢查點(diǎn)

保存TensorFlow模型可以有兩種類型：

• SavedModel：保存模型的完整狀態(tài)以及所有參數(shù)。

model.save_weights('checkpoint') 

• 檢查點(diǎn)(Checkpoints)

檢查點(diǎn)捕獲機(jī)器學(xué)習(xí)模型使用的所有參數(shù)的精確值。使用Sequential API或Model API構(gòu)建的機(jī)器學(xué)習(xí)模型可以簡(jiǎn)單地以SavedModel格式進(jìn)行保存。

但是，對(duì)于自定義模型，需要設(shè)置檢查點(diǎn)。

檢查點(diǎn)不包含模型定義的計(jì)算的任何描述，因此通常只有在源代碼可用時(shí)才有用。

保存檢查點(diǎn)：

checkpoint_path = “save_path” 
# Defining a Checkpoint 
ckpt = tf.train.Checkpoint(modelmodel=model, optimizeroptimizer=optimizer) 
# Creating a CheckpointManager Object 
ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5) 
# Saving a Model 
ckpt_manager.save() 

加載檢查點(diǎn)：

TensorFlow通過(guò)遍歷具有命名邊的有向圖(從加載的對(duì)象開(kāi)始)，將變量匹配到檢查點(diǎn)值。

if ckpt_manager.latest_checkpoint: 
    ckpt.restore(ckpt_manager.latest_checkpoint) 

9. Keras Tuner

這是TensorFlow中的一個(gè)相當(dāng)新的功能。

!pip install keras-tuner 

超參數(shù)調(diào)優(yōu)是挑選參數(shù)的過(guò)程，這些參數(shù)定義了機(jī)器學(xué)習(xí)模型的配置，這些是特征工程和機(jī)器學(xué)習(xí)模型性能的決定因素。

# model_builder is a function that builds a model and returns it 
tuner = kt.Hyperband( 
    model_builder, 
    objective='val_accuracy',  
    max_epochs=10, 
    factor=3, 
    directory='my_dir', 
    project_name='intro_to_kt' 
) 

除了HyperBand, BayesianOptimization和RandomSearch也可用于調(diào)優(yōu)。

tuner.search( 
    img_train, label_train,  
    epochs = 10,  
    validation_data=(img_test,label_test),  
    callbacks=[ClearTrainingOutput()] 
) 
 
# Get the optimal hyperparameters 
best_hps = tuner.get_best_hyperparameters(num_trials=1)[0] 

然后，利用最優(yōu)超參數(shù)對(duì)模型進(jìn)行訓(xùn)練：

model = tuner.hypermodel.build(best_hps) 
model.fit( 
    img_train,  
    label_train,  
    epochs=10,  
    validation_data=(img_test, label_test) 
) 

10. 分布式訓(xùn)練

如果你有多個(gè)GPU，并希望通過(guò)將訓(xùn)練分散在多個(gè)GPU上來(lái)優(yōu)化訓(xùn)練，TensorFlow的各種分布式訓(xùn)練策略能夠優(yōu)化GPU的使用，并為你在GPU上進(jìn)行訓(xùn)練。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?

• 所有變量和模型圖都復(fù)制到副本上。
• 輸入均勻地分布在各個(gè)副本上。
• 每個(gè)副本都為其接收的輸入計(jì)算損失和梯度。
• 梯度是通過(guò)對(duì)所有副本求和來(lái)同步的。
• 同步之后，對(duì)每個(gè)副本上的變量副本進(jìn)行相同的更新。

strategy = tf.distribute.MirroredStrategy() 
with strategy.scope(): 
    model = tf.keras.Sequential([ 
        tf.keras.layers.Conv2D( 
            32, 3, activation='relu',  input_shape=(28, 28, 1) 
        ), 
        tf.keras.layers.MaxPooling2D(), 
        tf.keras.layers.Flatten(), 
        tf.keras.layers.Dense(64, activation='relu'), 
        tf.keras.layers.Dense(10) 
    ]) 
 
    model.compile( 
        loss="sparse_categorical_crossentropy", 
        optimizer="adam", 
        metrics=['accuracy'] 
    ) 

最后

TensorFlow足以構(gòu)建機(jī)器學(xué)習(xí)管道的幾乎所有組件。本教程的主要內(nèi)容是介紹TensorFlow提供的各種api，以及如何使用這些API的快速指南。