PyTorch在深度學習領域中的應用日趨廣泛，得益于它獨到的設計。無論是數(shù)據(jù)的并行處理還是動態(tài)計算圖，一切都為Python做出了很多簡化。很多論文都選擇使用PyTorch去實現(xiàn)也證明了它在訓練方面的效率以及易用性。

在PyTorch領域，盡管部署一個模型有很多選擇，可為Java開發(fā)人員準備的選項卻屈指可數(shù)。

在過去，用戶可以用PyTorch C++ 寫JNI (Java Native Interface) 來實現(xiàn)這個過程。最近，PyTorch 1.4 也發(fā)布了試驗性的Java 前端。

可是這兩種解決方案都沒有辦法能讓Java開發(fā)者很好的使用：用戶需要從易于使用和易于維護中二選一。

針對于這個問題，亞馬遜云服務 (AWS)開源了 Deep Java Library (DJL)，一個為Java開發(fā)者設計的深度學習庫。它兼顧了易用性和可維護性，一切運行效率以及內(nèi)存管理問題都得到了很好的處理。

DJL使用起來異常簡單。只需幾行代碼，用戶就可以輕松部署深度學習模型用作推理。那么我們就開始上手用DJL部署一個PyTorch 模型吧。

前期準備

用戶可以輕松使用maven或者gradle等Java常用配置管理包來引用DJL。下面是一個示例：

plugins { 
    id 'java' 
} 
repositories {                            
    jcenter() 
} 
dependencies { 
    implementation "ai.djl:api:0.4.0" 
    implementation "ai.djl:repository:0.4.0" 
    runtimeOnly "ai.djl.pytorch:pytorch-model-zoo:0.4.0" 
    runtimeOnly "ai.djl.pytorch:pytorch-native-auto:1.4.0" 
} 

然后只需gradle build，基本配置就大功告成了。

開始部署模型

我們用到的目標檢測模型來源于NVIDIA在torchhub發(fā)布的預訓練模型。我們用下面這張圖來推理幾個可以識別的物體（狗，自行車以及皮卡）。

可以通過下面的代碼來實現(xiàn)推理的過程：

public static void main(String[] args) throws IOException, ModelException, TranslateException { 
    String url = "https://github.com/awslabs/djl/raw/master/examples/src/test/resources/dog_bike_car.jpg"; 
    BufferedImage img = BufferedImageUtils.fromUrl(url); 
 
    Criteria<BufferedImage, DetectedObjects> criteria = 
            Criteria.builder() 
                    .optApplication(Application.CV.OBJECT_DETECTION) 
                    .setTypes(BufferedImage.class, DetectedObjects.class) 
                    .optFilter("backbone", "resnet50") 
                    .optProgress(new ProgressBar()) 
                    .build(); 
 
    try (ZooModel<BufferedImage, DetectedObjects> model = ModelZoo.loadModel(criteria)) { 
        try (Predictor<BufferedImage, DetectedObjects> predictor = model.newPredictor()) { 
            DetectedObjects detection = predictor.predict(img); 
            System.out.println(detection); 
        } 
    } 
} 

然后，就結(jié)束了。相比于其他解決方案動輒上百行的代碼，DJL把所有過程簡化到了不到30行完成。那么我們看看輸出的結(jié)果:

[ 
    class: "dog", probability: 0.96709, bounds: [x=0.165, y=0.348, width=0.249, height=0.539] 
    class: "bicycle", probability: 0.66796, bounds: [x=0.152, y=0.244, width=0.574, height=0.562] 
    class: "truck", probability: 0.64912, bounds: [x=0.609, y=0.132, width=0.284, height=0.166] 
] 

你也可以用我們目標檢測圖形化API來看一下實際的檢測效果：

你也許會說，這些代碼都包裝的過于厲害，真正的小白該如何上手呢？

讓我們仔細的看一下剛才的那段代碼：

// 讀取一張圖片 
   String url = "https://github.com/awslabs/djl/raw/master/examples/src/test/resources/dog_bike_car.jpg"; 
   BufferedImage img = BufferedImageUtils.fromUrl(url); 
   // 創(chuàng)建一個模型的尋找標準 
   Criteria<BufferedImage, DetectedObjects> criteria = 
           Criteria.builder() 
                   // 設置應用類型：目標檢測 
                   .optApplication(Application.CV.OBJECT_DETECTION) 
                   // 確定輸入輸出類型 （使用默認的圖片處理工具） 
                   .setTypes(BufferedImage.class, DetectedObjects.class) 
                   // 模型的過濾條件 
                   .optFilter("backbone", "resnet50") 
                   .optProgress(new ProgressBar()) 
                   .build(); 
 
   // 創(chuàng)建一個模型對象 
   try (ZooModel<BufferedImage, DetectedObjects> model = ModelZoo.loadModel(criteria)) { 
       // 創(chuàng)建一個推理對象 
       try (Predictor<BufferedImage, DetectedObjects> predictor = model.newPredictor()) { 
           // 推理 
           DetectedObjects detection = predictor.predict(img); 
           System.out.println(detection); 
       } 
   } 

這樣是不是清楚了很多？DJL建立了一個模型庫(ModelZoo)的概念，引入了來自于GluonCV, TorchHub, Keras 預訓練模型, huggingface自然語言處理模型等70多個模型。所有的模型都可以一鍵導入，用戶只需要使用默認或者自己寫的輸入輸出工具就可以實現(xiàn)輕松的推理。我們還在不斷的添加各種預訓練模型。

了解DJL

DJL是亞馬遜云服務在2019年re:Invent大會推出的專為Java開發(fā)者量身定制的深度學習框架，現(xiàn)已運行在亞馬遜數(shù)以百萬的推理任務中。

如果要總結(jié)DJL的主要特色，那么就是如下三點：

• DJL不設限制于后端引擎：用戶可以輕松的使用 MXNet, PyTorch, TensorFlow和fastText來在Java上做模型訓練和推理。
• DJL的算子設計無限趨近于numpy：它的使用體驗上和numpy基本是無縫的，切換引擎也不會造成結(jié)果改變。
• DJL優(yōu)秀的內(nèi)存管理以及效率機制：DJL擁有自己的資源回收機制，100個小時連續(xù)推理也不會內(nèi)存溢出。

James Gosling (Java 創(chuàng)始人) 在使用后給出了贊譽:

對于PyTorch的支持