探索如何將 Android Things 與 Tensorflow 集成起來，以及如何應(yīng)用機(jī)器學(xué)習(xí)到物聯(lián)網(wǎng)系統(tǒng)上。學(xué)習(xí)如何在裝有 Android Things 的樹莓派上使用 Tensorflow 進(jìn)行圖片分類。

這個(gè)項(xiàng)目探索了如何將機(jī)器學(xué)習(xí)應(yīng)用到物聯(lián)網(wǎng)上。具體來說，物聯(lián)網(wǎng)平臺(tái)我們將使用 Android Things，而機(jī)器學(xué)習(xí)引擎我們將使用 Google TensorFlow。

現(xiàn)如今，Android Things 處于名為 Android Things 1.0 的穩(wěn)定版本，已經(jīng)可以用在生產(chǎn)系統(tǒng)中了。如你可能已經(jīng)知道的，樹莓派是一個(gè)可以支持 Android Things 1.0 做開發(fā)和原型設(shè)計(jì)的平臺(tái)。本教程將使用 Android Things 1.0 和樹莓派，當(dāng)然，你可以無需修改代碼就能換到其它所支持的平臺(tái)上。這個(gè)教程是關(guān)于如何將機(jī)器學(xué)習(xí)應(yīng)用到物聯(lián)網(wǎng)的，這個(gè)物聯(lián)網(wǎng)平臺(tái)就是 Android Things Raspberry Pi。

物聯(lián)網(wǎng)上的機(jī)器學(xué)習(xí)是最熱門的話題之一。要給機(jī)器學(xué)習(xí)一個(gè)最簡單的定義，可能就是 維基百科上的定義：

機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)中，讓計(jì)算機(jī)不需要顯式編程就能去“學(xué)習(xí)”（即，逐步提升在特定任務(wù)上的性能）使用數(shù)據(jù)的一個(gè)領(lǐng)域。

換句話說就是，經(jīng)過訓(xùn)練之后，那怕是它沒有針對它們進(jìn)行特定的編程，這個(gè)系統(tǒng)也能夠預(yù)測結(jié)果。另一方面，我們都知道物聯(lián)網(wǎng)和聯(lián)網(wǎng)設(shè)備的概念。其中前景最看好的領(lǐng)域之一就是如何在物聯(lián)網(wǎng)上應(yīng)用機(jī)器學(xué)習(xí)，構(gòu)建專家系統(tǒng)，這樣就能夠去開發(fā)一個(gè)能夠“學(xué)習(xí)”的系統(tǒng)。此外，還可以使用這些知識(shí)去控制和管理物理對象。在深入了解 Android Things 的細(xì)節(jié)之前，你應(yīng)該先將其安裝在你的設(shè)備上。如果你是***次使用 Android Things，你可以閱讀一下這篇如何在你的設(shè)備上安裝 Android Things 的教程。

這里有幾個(gè)應(yīng)用機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)產(chǎn)生重要價(jià)值的領(lǐng)域，以下僅提到了幾個(gè)有趣的領(lǐng)域，它們是：

• 在工業(yè)物聯(lián)網(wǎng)（IIoT）中的預(yù)見性維護(hù)
• 消費(fèi)物聯(lián)網(wǎng)中，機(jī)器學(xué)習(xí)可以讓設(shè)備更智能，它通過調(diào)整使設(shè)備更適應(yīng)我們的習(xí)慣

在本教程中，我們希望去探索如何使用 Android Things 和 TensorFlow 在物聯(lián)網(wǎng)上應(yīng)用機(jī)器學(xué)習(xí)。這個(gè) Adnroid Things 物聯(lián)網(wǎng)項(xiàng)目的基本想法是，探索如何去構(gòu)建一個(gè)能夠識(shí)別前方道路上基本形狀（比如箭頭）并控制其道路方向的無人駕駛汽車。我們已經(jīng)介紹了 如何使用 Android Things 去構(gòu)建一個(gè)無人駕駛汽車，因此，在開始這個(gè)項(xiàng)目之前，我們建議你去閱讀那個(gè)教程。

這個(gè)機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)項(xiàng)目包含如下的主題：

• 如何使用 Docker 配置 TensorFlow 環(huán)境
• 如何訓(xùn)練 TensorFlow 系統(tǒng)
• 如何使用 Android Things 去集成 TensorFlow
• 如何使用 TensorFlow 的成果去控制無人駕駛汽車

這個(gè)項(xiàng)目起源于 Android Things TensorFlow 圖像分類器。

我們開始吧！

如何使用 Tensorflow 圖像識(shí)別

在開始之前，需要安裝和配置 TensorFlow 環(huán)境。我不是機(jī)器學(xué)習(xí)方面的專家，因此，我需要找到一些快速而能用的東西，以便我們可以構(gòu)建 TensorFlow 圖像識(shí)別器。為此，我們使用 Docker 去運(yùn)行一個(gè) TensorFlow 鏡像。以下是操作步驟：

1、 克隆 TensorFlow 倉庫：

git clone https://github.com/tensorflow/tensorflow.git
cd /tensorflow
git checkout v1.5.0

2、 創(chuàng)建一個(gè)目錄（/tf-data），它將用于保存這個(gè)項(xiàng)目中使用的所有文件。

3、 運(yùn)行 Docker：

docker run -it \
--volume /tf-data:/tf-data \
--volume /tensorflow:/tensorflow \
--workdir /tensorflow tensorflow/tensorflow:1.5.0 bash

使用這個(gè)命令，我們運(yùn)行一個(gè)交互式 TensorFlow 環(huán)境，可以掛載一些在使用項(xiàng)目期間使用的目錄。

如何訓(xùn)練 TensorFlow 去識(shí)別圖像

在 Android Things 系統(tǒng)能夠識(shí)別圖像之前，我們需要去訓(xùn)練 TensorFlow 引擎，以使它能夠構(gòu)建它的模型。為此，我們需要去收集一些圖像。正如前面所言，我們需要使用箭頭來控制 Android Things 無人駕駛汽車，因此，我們至少要收集四種類型的箭頭：

• 向上的箭頭
• 向下的箭頭
• 向左的箭頭
• 向右的箭頭

為訓(xùn)練這個(gè)系統(tǒng)，需要使用這四類不同的圖像去創(chuàng)建一個(gè)“知識(shí)庫”。在 /tf-data 目錄下創(chuàng)建一個(gè)名為 images 的目錄，然后在它下面創(chuàng)建如下名字的四個(gè)子目錄：

• up-arrow
• down-arrow
• left-arrow
• right-arrow

現(xiàn)在，我們?nèi)フ覉D片。我使用的是 Google 圖片搜索，你也可以使用其它的方法。為了簡化圖片下載過程，你可以安裝一個(gè) Chrome 下載插件，這樣你只需要點(diǎn)擊就可以下載選定的圖片。別忘了多下載一些圖片，這樣訓(xùn)練效果更好，當(dāng)然，這樣創(chuàng)建模型的時(shí)間也會(huì)相應(yīng)增加。

擴(kuò)展閱讀

• 如何使用 API 去集成 Android Things
• 如何與 Firebase 一起使用 Android Things

打開瀏覽器，開始去查找四種箭頭的圖片：

TensorFlow image classifier

每個(gè)類別我下載了 80 張圖片。不用管圖片文件的擴(kuò)展名。

為所有類別的圖片做一次如下的操作（在 Docker 界面下）：

python /tensorflow/examples/image_retraining/retrain.py \ 
--bottleneck_dir=tf_files/bottlenecks \
--how_many_training_steps=4000 \
--output_graph=/tf-data/retrained_graph.pb \
--output_labels=/tf-data/retrained_labels.txt \
--image_dir=/tf-data/images

這個(gè)過程你需要耐心等待，它需要花費(fèi)很長時(shí)間。結(jié)束之后，你將在 /tf-data 目錄下發(fā)現(xiàn)如下的兩個(gè)文件：

1. retrained_graph.pb
2. retrained_labels.txt

***個(gè)文件包含了 TensorFlow 訓(xùn)練過程產(chǎn)生的結(jié)果模型，而第二個(gè)文件包含了我們的四個(gè)圖片類相關(guān)的標(biāo)簽。

如何測試 Tensorflow 模型

如果你想去測試這個(gè)模型，去驗(yàn)證它是否能按預(yù)期工作，你可以使用如下的命令：

python scripts.label_image \
--graph=/tf-data/retrained-graph.pb \
--image=/tf-data/images/[category]/[image_name.jpg]

優(yōu)化模型

在 Android Things 項(xiàng)目中使用我們的 TensorFlow 模型之前，需要去優(yōu)化它：

python /tensorflow/python/tools/optimize_for_inference.py \
--input=/tf-data/retrained_graph.pb \
--output=/tf-data/opt_graph.pb \
--input_names="Mul" \
--output_names="final_result"

那個(gè)就是我們?nèi)康哪Ｐ?。我們將使用這個(gè)模型，把 TensorFlow 與 Android Things 集成到一起，在物聯(lián)網(wǎng)或者更多任務(wù)上應(yīng)用機(jī)器學(xué)習(xí)。目標(biāo)是使用 Android Things 應(yīng)用程序智能識(shí)別箭頭圖片，并反應(yīng)到接下來的無人駕駛汽車的方向控制上。

如果你想去了解關(guān)于 TensorFlow 以及如何生成模型的更多細(xì)節(jié)，請查看官方文檔以及這篇 教程。

如何使用 Android Things 和 TensorFlow 在物聯(lián)網(wǎng)上應(yīng)用機(jī)器學(xué)習(xí)

TensorFlow 的數(shù)據(jù)模型準(zhǔn)備就緒之后，我們繼續(xù)下一步：如何將 Android Things 與 TensorFlow 集成到一起。為此，我們將這個(gè)任務(wù)分為兩步來完成：

1. 硬件部分，我們將把電機(jī)和其它部件連接到 Android Things 開發(fā)板上
2. 實(shí)現(xiàn)這個(gè)應(yīng)用程序

Android Things 示意圖

在深入到如何連接外圍部件之前，先列出在這個(gè) Android Things 項(xiàng)目中使用到的組件清單：

1. Android Things 開發(fā)板（樹莓派 3）
2. 樹莓派攝像頭
3. 一個(gè) LED 燈
4. LN298N 雙 H 橋電機(jī)驅(qū)動(dòng)模塊（連接控制電機(jī)）
5. 一個(gè)帶兩個(gè)輪子的無人駕駛汽車底盤

我不再重復(fù) 如何使用 Android Things 去控制電機(jī) 了，因?yàn)樵谝郧暗奈恼轮幸呀?jīng)講過了。

下面是示意圖：

Integrating Android Things with IoT

上圖中沒有展示攝像頭。最終成果如下圖：

[[238649]]

Integrating Android Things with TensorFlow

使用 TensorFlow 實(shí)現(xiàn) Android Things 應(yīng)用程序

***一步是實(shí)現(xiàn) Android Things 應(yīng)用程序。為此，我們可以復(fù)用 Github 上名為 TensorFlow 圖片分類器示例 的示例代碼。開始之前，先克隆 Github 倉庫，這樣你就可以修改源代碼。

這個(gè) Android Things 應(yīng)用程序與原始的應(yīng)用程序是不一樣的，因?yàn)椋?/p>

1. 它不使用按鈕去開啟攝像頭圖像捕獲
2. 它使用了不同的模型
3. 它使用一個(gè)閃爍的 LED 燈來提示，攝像頭將在 LED 停止閃爍后拍照
4. 當(dāng) TensorFlow 檢測到圖像時(shí)（箭頭）它將控制電機(jī)。此外，在第 3 步的循環(huán)開始之前，它將打開電機(jī) 5 秒鐘。

為了讓 LED 閃爍，使用如下的代碼：

private Handler blinkingHandler = new Handler();
private Runnable blinkingLED = new Runnable() {
  @Override
  public void run() {
    try {
     // If the motor is running the app does not start the cam
     if (mc.getStatus())
       return ;
 
     Log.d(TAG, "Blinking..");
     mReadyLED.setValue(!mReadyLED.getValue());
     if (currentValue <= NUM_OF_TIMES) {
       currentValue++;
       blinkingHandler.postDelayed(blinkingLED, 
                       BLINKING_INTERVAL_MS);
     }
     else {
      mReadyLED.setValue(false);
      currentValue = 0;
      mBackgroundHandler.post(mBackgroundClickHandler);
     }
   } catch (IOException e) {
     e.printStackTrace();
   }
  }
};

當(dāng) LED 停止閃爍后，應(yīng)用程序?qū)⒉东@圖片。

現(xiàn)在需要去關(guān)心如何根據(jù)檢測到的圖片去控制電機(jī)。修改這個(gè)方法：

@Override
public void onImageAvailable(ImageReader reader) {
  final Bitmap bitmap;
   try (Image image = reader.acquireNextImage()) {
     bitmap = mImagePreprocessor.preprocessImage(image);
   }
 
   final List<Classifier.Recognition> results = 
      mTensorFlowClassifier.doRecognize(bitmap);
 
   Log.d(TAG, 
    "Got the following results from Tensorflow: " + results);
 
   // Check the result
   if (results == null || results.size() == 0) {
     Log.d(TAG, "No command..");
     blinkingHandler.post(blinkingLED);
     return ;
    }
 
    Classifier.Recognition rec = results.get(0);
    Float confidence = rec.getConfidence();
    Log.d(TAG, "Confidence " + confidence.floatValue());
 
    if (confidence.floatValue() &lt; 0.55) {
     Log.d(TAG, "Confidence too low..");
     blinkingHandler.post(blinkingLED);
     return ;
    }
 
    String command = rec.getTitle();
    Log.d(TAG, "Command: " + rec.getTitle());
 
    if (command.indexOf("down") != -1)
       mc.backward();
    else if (command.indexOf("up") != -1)
       mc.forward();
    else if (command.indexOf("left") != -1)
       mc.turnLeft();
    else if (command.indexOf("right") != -1)
       mc.turnRight();
}

在這個(gè)方法中，當(dāng) TensorFlow 返回捕獲的圖片匹配到的可能的標(biāo)簽之后，應(yīng)用程序?qū)⒈容^這個(gè)結(jié)果與可能的方向，并因此來控制電機(jī)。

***，將去使用前面創(chuàng)建的模型了。拷貝 assets 文件夾下的 opt_graph.pb 和 reatrained_labels.txt 去替換現(xiàn)在的文件。

打開 Helper.java 并修改如下的行：

public static final int IMAGE_SIZE = 299;
private static final int IMAGE_MEAN = 128;
private static final float IMAGE_STD = 128;
private static final String LABELS_FILE = "retrained_labels.txt";
public static final String MODEL_FILE = "file:///android_asset/opt_graph.pb";
public static final String INPUT_NAME = "Mul";
public static final String OUTPUT_OPERATION = "output";
public static final String OUTPUT_NAME = "final_result";

運(yùn)行這個(gè)應(yīng)用程序，并給攝像頭展示幾種箭頭，以檢查它的反應(yīng)。無人駕駛汽車將根據(jù)展示的箭頭進(jìn)行移動(dòng)。

總結(jié)

教程到此結(jié)束，我們講解了如何使用 Android Things 和 TensorFlow 在物聯(lián)網(wǎng)上應(yīng)用機(jī)器學(xué)習(xí)。我們使用圖片去控制無人駕駛汽車的移動(dòng)。