作者 ｜ 張辰，單位：中國移動智慧家庭運營中心

?Labs 導(dǎo)讀

隨著移動技術(shù)的發(fā)展，5G技術(shù)的普及，AR/VR行業(yè)也迎來了新的春天。由于AR/VR行業(yè)的應(yīng)用，需要大數(shù)據(jù)量的計算、渲染、以及配套的硬件設(shè)備普及，所以為了讓你我有更好的觀感，對于硬件和軟件的要求是非常高的。不過隨著科技的發(fā)展，這一切都成為了可能，本文就帶你了解一下AR/VR在移動開發(fā)中的一些技術(shù)方案。

Part 01  AR的開發(fā)技術(shù)難點 

在AR技術(shù)逐漸火熱的今天，很多一線互聯(lián)網(wǎng)公司都組件了自己的團隊來開發(fā)獨立的AR框架。以下是一些常見的AR技術(shù)平臺和運營的公司。

那么AR的開發(fā)技術(shù)難點在哪里呢？

界面問題：缺乏通用的UI隱喻

盡管人們知道可以用AR做些什么，但并不確定如何使用這項突破性的技術(shù)，以及如何運用一種共通的語言幫助夢想照進(jìn)現(xiàn)實。AR 的難點在于它是一項全新的技術(shù)，無法真正受益于任何界面隱喻。我們不能借鑒先例，而且沒有過多的背景知識。比如，如何體現(xiàn)現(xiàn)實環(huán)境、虛擬環(huán)境、并讓用戶理解移動手機，掃描環(huán)境，互動或觀看虛擬物體，并且提示行動避開危險等，都尚未形成共通的、直覺的 UI 習(xí)慣。如果無法解決UI的隱喻問題，就很難抓住 AR 為我們帶來的獨特數(shù)字機遇。

能耗問題：功耗大、易發(fā)熱

目前市面上的CPU和GPU大部分都是為通用設(shè)備開發(fā)，并沒有專有為AR設(shè)備開發(fā)的芯片，導(dǎo)致目前的CPU 尺寸(Size)雖然在微型化處理器和顯卡方面取得了很大進(jìn)展，但是仍然沒有達(dá)到讓高端 AR 成為現(xiàn)實的水平。

功耗(Power)渲染AR體驗的過程非常耗電。事實上功耗越大，產(chǎn)生的熱量也就越多，產(chǎn)生的這些熱量又會反過來降低處理器的速度，甚至使其完全短路。設(shè)備越小，散熱速度就越慢。

內(nèi)容問題：3D設(shè)計門檻高

AR領(lǐng)域內(nèi)容的設(shè)計需要3D設(shè)計的知識。目前，擁有這項能力的技術(shù)人員基數(shù)較小，除非是專業(yè)的動畫師、平面設(shè)計師、機械工程師或視頻游戲制作人，否則很難在這方面有太多經(jīng)驗。

Part 02  ArCore在Android端的應(yīng)用

目前的這些方案是如何比較好地應(yīng)用到移動開發(fā)中的呢？我們以ARCore舉例來看下想要在移動端開發(fā)一個AR項目需要做哪些事情。

首先要明確的是平臺基于Android，開發(fā)IDE基于Android Studio（需要 Android Studio 3.1 或更高版本以及 Android SDK Platform 7.0<API 級別 24>或更高版本）。其次我們要在需要運行AR工程的設(shè)備上安裝Google Play，由于對于ARCore來講，大部分的數(shù)據(jù)計算和算法運行都需要google_play_service支持，所以升級到最新版本Google_Play_Services_for_AR_1.31.0_x86_for_emulator.apk非常重要。

然后在你的AR項目中找到Manifest添加：

<uses-permission android:name="android.permission.CAMERA" />

<!-- Limits app visibility in the Google Play Store to ARCore supported devices
     (https://developers.google.com/ar/devices). -->
<uses-feature android:name="android.hardware.camera.ar" />

<application …>
…

    <!-- "AR Required" app, requires "Google Play Services for AR" (ARCore)
         to be installed, as the app does not include any non-AR features. -->
    <meta-data android:name="com.google.ar.core" android:value="required" />
</application>

feature支持，并在gradle中導(dǎo)入ARCore支持：

implementation 'com.google.ar:core:1.31.0'

同步后在代碼段中就可以添加對于ARCore的檢查代碼了：

 ArCoreApk.Availability availability = ArCoreApk.getInstance().checkAvailability(this);

即使“面向AR的Google Play服務(wù)”隨AR必備應(yīng)用一同安裝，使用不受支持的設(shè)備的用戶可能也可以從外部來源安裝該服務(wù)。使用checkAvailability()檢查是否支持ARCore可確保獲得一致的體驗。

checkAvailability()可能需要查詢網(wǎng)絡(luò)資源來確定設(shè)備是否支持 ARCore。在此期間，它將返回UNKNOWN_CHECKING。為了縮短感知延遲時間并減少彈出式窗口，應(yīng)用應(yīng)在其生命周期的早期階段調(diào)用一次checkAvailability()以啟動查詢，并忽略返回值。這樣，在調(diào)用 maybeEnableArButton() 時，緩存結(jié)果將立即可用。

由于AR設(shè)備必須用到相機，所以還請在使用AR設(shè)備前，請求并開啟相機權(quán)限：

if (!CameraPermissionHelper.hasCameraPermission(this)) {
    CameraPermissionHelper.requestCameraPermission(this);
    return;
  }

此時我們準(zhǔn)備工作就做好了，就可以構(gòu)建一個AR Session了。

Part 03 AR Client開發(fā)

AR Session 是所有AR流程的一個集合，（如運動跟蹤、環(huán)境理解和光照估算等），在Android中用于管理 AR 系統(tǒng)狀態(tài)并處理會話生命周期。官方提供的接口提供允許應(yīng)用創(chuàng)建、配置、啟動或停止會話的方法。最重要的是，它可以讓應(yīng)用接收允許訪問相機圖像和設(shè)備位置方向的幀。

下面我們來創(chuàng)建Session吧，幾行代碼就可以完成。

public void createSession() {
  // Create a new ARCore session.
  session = new Session(this);

  // Create a session config.
  Config config = new Config(session);

  // Do feature-specific operations here, such as enabling depth or turning on
  // support for Augmented Faces.

  // Configure the session.
  session.configure(config);
}

是不是很簡單，同樣，關(guān)閉Session 可以直接調(diào)用：

session.close();

即可。

然后我們在Activity中構(gòu)建渲染循環(huán)，

• 創(chuàng)建渲染用GlSurfaceView ，并實現(xiàn)渲染render類。同時創(chuàng)建自己繪制Mesh需要的渲染類，如planetRender（繪制地面），BackgroundRenderer （繪制背景）等。
• 在OnSurfaceCreate 渲染線程回調(diào)中，添加對于mesh，render，texture的初始化操作，申請GPU空間。
• 在OnSurfaceChanged回調(diào)中，設(shè)置渲染緩沖的視口。
• 在OnDrawFrame中加入每幀的渲染邏輯，

Frame frame = session.update();

可以獲取當(dāng)前幀的信息，其中包括相機信息，RGB圖，depth圖等。

Camera camera = frame.getCamera();

可以獲取到當(dāng)前相機狀態(tài)，如是否處在跟蹤物體，是否跟蹤失敗等。通過相機的不同狀態(tài)來繪制三維物體，可以動態(tài)的改變?nèi)S物體的顯示（如位置，大小，旋轉(zhuǎn)，是否被遮擋等）。

Frame中同樣存儲這點云、錨點、平面這些檢測信息，你同樣可以根據(jù)相機得到視點信息，重新構(gòu)建出一個三維世界，把以上得到的信息具體的繪制到場景中。在現(xiàn)實的臺球桌面上，虛擬化了一個錐形物體，是通過檢測得到的平面信息，在平面上添加指定位置的錨點，并在錨點上繪制錐形體。

Part 04  AR/VR的趨勢和未來

對于AR和VR設(shè)備的普及化，可能還需要一個比較長的過程，其中包括硬件升級和軟件升級的過程，也可能包括用戶對消費需求的升級。所以前景和市場還是很有希望的，因為它的發(fā)現(xiàn)大大提升了之前體感類游戲或者交互的體驗，讓用戶能夠隨時隨地的置身于各式各樣的虛擬場景，并得到非常逼真的體驗，相信隨著移動技術(shù)的發(fā)展，有一天大家都能用上價格實惠，體感很好的AR/VR產(chǎn)品。?