【51CTO.com原創(chuàng)稿件】VR直播是2016年VR行業(yè)的熱點，用戶和從業(yè)者都希望它能夠緩解VR內(nèi)容不足的問題。然而，目前VR直播還面臨著很多問題，系統(tǒng)落地難度比較高，用戶體驗也不夠好。從系統(tǒng)落地角度，拍攝、編碼壓縮、網(wǎng)絡(luò)傳輸和播放等各個環(huán)節(jié)需要進行系統(tǒng)的設(shè)計和優(yōu)化。從用戶體驗角度，需要在臨場感、沉浸感和互動性三個方面一起發(fā)力，才能為用戶提供合格的VR直播。

【講師簡介】

[[176496]]

任福新，RGB聯(lián)合創(chuàng)始人兼CTO。中科院計算所博士，互聯(lián)網(wǎng)創(chuàng)業(yè)老兵。在數(shù)據(jù)挖掘，推薦系統(tǒng)，游戲，虛擬現(xiàn)實等領(lǐng)域有多年研發(fā)經(jīng)驗。2015合伙組建RGBVR團隊，致力于VR視頻點播和直播產(chǎn)品研發(fā)與關(guān)鍵技術(shù)研究，已推出國內(nèi)***全功能的VR視頻播放器-小花看看，國內(nèi)***3DVR秀場直播平臺-小花秀，并預(yù)計為行業(yè)開發(fā)者開放其直播服務(wù)。

VR直播火爆

據(jù)相關(guān)咨詢公司有關(guān)數(shù)據(jù)報告，2016年，VR市場規(guī)模預(yù)計會達到56億，到2020年，可以達到556億，接近10倍的增長。網(wǎng)絡(luò)直播，截至2015年年底，有平臺200余家，在線人數(shù)有400萬。在今年上半年手機直播火爆之后，直播平臺數(shù)量保守估計已經(jīng)有400家，在線人數(shù)也已經(jīng)遠遠被刷新了，例如，Papi醬的網(wǎng)絡(luò)首秀，對外宣稱的同時在線人數(shù)有2000萬。

VR市場、VR技術(shù)被寄予厚望，是一個新技術(shù)，一種黑科技。VR直播是大眾娛樂一種很重要的內(nèi)容形式，通過網(wǎng)絡(luò)直播方式去溝通交流、交友、獲取信息，已經(jīng)成為一種潮流。VR直播的一個優(yōu)勢，就是能給大家?guī)砩砼R其境的體驗，成為一種很重要的內(nèi)容消費形式。

VR直播的挑戰(zhàn)

無論是開發(fā)者，還是硬件廠商，都會面臨一件苦惱的事情：做出來了頭盔，搭建了一個平臺，買了很多版權(quán)，有很多內(nèi)容，但是消費者就是不買賬，號稱有400萬注冊用戶，但其實每天日活只有一兩萬。這時，一些問題就浮出水面：適合VR的內(nèi)容形式與表演方式是什么樣的?怎么拍攝高質(zhì)量的VR視頻?怎么分發(fā)和存儲高分辨率和高碼率的VR視頻?如何呈現(xiàn)、交互?

VR直播流程

VR直播流程和普通直播流程很像，但要達到身臨其境的感覺，在頭盔端需要達到4K甚至更高的分辨率，所以整個流程的各個環(huán)節(jié)的要求都提高了，這時候就需要從端到端進行變革。合格的拍攝設(shè)備、高效的視頻處理流程、夠?qū)挼木W(wǎng)絡(luò)傳輸、舒適的頭顯設(shè)備、精心打造的直播應(yīng)用，這些都是VR直播的重要環(huán)節(jié)。

1. VR攝像機

如上圖所示，從左到右依次是360度攝像機、180度3D攝像機、360度3D攝像機。360度攝像機的特點是能夠覆蓋360度角度，把圖像采集下來，異構(gòu)后續(xù)處理。180度3D攝像機雖然是180度，犧牲了一半的空間，但是具有3D功能，能夠讓用戶感覺到景深，帶來體驗上的升級。360度3D攝像機是比較高級的設(shè)備，基本上能夠全場景包圍，還有立體感。

無論是哪一種形式的相機都需要解決幾個問題：由于都是多顆鏡頭、多個傳感器共同協(xié)作，首先需要有多顆鏡頭去覆蓋想要覆蓋的角度，360度或180度，需要做到多個傳感器之間同步，同時開始拍攝，才能在后續(xù)進行比較好的拼接。此外，還需要色彩、白平衡等各種參數(shù)達到一致，方便后續(xù)處理。

2. 視頻處理

1)首先是拼接：將多鏡頭拍攝的畫面進行亮度色彩調(diào)整、對齊、畸變矯正、投影到球面等一系列處理后，合成為一幅完整畫面的過程。

拼接的核心在于，分開不同的角度拍了很多照片之間會有重疊，需要找一個合適的位置把它們疊在一起，如何找到這個位置?用的最多方法是基于圖像特征控制點的方法，基于圖像的灰度變化特征，找到灰度變化差異最小的塊疊在一起。

基于圖像特征control points控制點

用這種方法完成拼接后，出來的效果整體上看不到接縫，能夠找到一個點去匹配，但是如果仔細看還是能夠發(fā)現(xiàn)，或者存在兩個畫面有不一致的點，或者接縫處會存在模糊的現(xiàn)象。因為兩個鏡頭從不同的角度拍到的圖像是同一個物體的不同側(cè)面，其實是沒有辦法***拼接到一起的，這個方法不可能做到***的圖像輸出。很多離線視頻之所以看上去找不到任何拼接痕跡，主要是后期進行了大量制作，需要很多人力逐幀做拼接，但在實時里沒有機會做。

另外一種拼接方法是基于機器視覺optical flow光流法。大體原理是用光流法，計算兩個微小變化畫面之間主點對應(yīng)時，點的對應(yīng)關(guān)系求***解的過程。一旦求出來同一個點在兩張畫面中不同位置，就可以算出視差和深度，這樣就可以借助這個深度做差值，進而生成360度的3D圖像。

2)投影變換

目前VR行業(yè)中最常用的投影方式是Equirectangular 等距矩形投影。

可以認為是一個球沿著某一條經(jīng)線撕扯開平鋪在一個平面上，在平鋪的過程中赤道線上的長度是不變的，兩個極點就是兩個點，尤其是當(dāng)緯度越高面積很小，要平鋪到球面時就要撕扯開，保留了多個相機之間畫面仍然是連續(xù)的，雖然進行了拉深，但是仍然連續(xù)，所以這方便拍視頻時監(jiān)看，看現(xiàn)在演員的站位好不好，看有沒有穿幫，仍然能從圖像里看出來，非常方便做后期處理。但是，有一個很大的缺點，就是浪費了很多存儲，在極點做了很大的拉扯，那里的圖像面積很小，但卻花了很多面積存儲這部分。比如南極洲實際面積應(yīng)該是在1400萬平方公里，而非洲是4000萬平方公里，在這個圖上可以明顯看出來南極洲比非洲大很多，那些存儲都浪費掉了。

Cylindrical Equal-area 圓柱形等面積投影是改進的一種方法。

既然靠近極點那部分的面積實際很小，在投影變換時做小，在y×sinφ，隨著離極點越近，存儲面積就越小，從這個圖里可以看到南極洲面積被壓縮得非常小，到極點就形成一條線。簡單作一下對比，等距投影和柱形等積投影，用方格子可以明顯看出來在靠近極點時處理不同，在接近中心的地方可以從畫紅框部分對比出來，在底下的示意圖也能看出來，柱形等積投影清晰度會比等距投影清晰度高很多，這是在同等尺寸、同等存儲空間的限制下。初步計算大約在10度能夠提升50%的清晰度。

Cube map 立方體圖投影

Cube map廣泛用于計算機圖形學(xué)中，比如unity中的天空盒、反射等應(yīng)用都使用cubemap的方式來做。

優(yōu)勢是各面沒有幾何變形，各面像素點均勻分布，投影很方便，當(dāng)從一個球面投影到Cube map操作很方便，反投影回去也很方便。現(xiàn)在視頻編碼時限是考慮到運動物體關(guān)聯(lián)關(guān)系做，如果沒有幾何變形，這個關(guān)系能夠利用得很好，存儲壓縮可以壓到更低。像素均勻分布，在監(jiān)看時也能夠看得比較清楚，因為沒有變形，能夠清晰地看到表演者或這些物體的真實情況?？梢怨?jié)省25%的像素存儲空間。

3)編碼

把視頻流拼接好，做好投影，在分發(fā)出去時要進行編碼，否則視頻量太大，沒有辦法做分發(fā)?，F(xiàn)在一般常用的編碼還是H264，一般4K清晰度的VR視頻264編碼碼率大于10M，在編碼和清晰度之間要找一個合適的點，理論上做到幾兆都可以，一般壓到6M，再小容易出現(xiàn)視頻不清晰。265在現(xiàn)在很多存儲，包括點播視頻里已經(jīng)用起來了，因為現(xiàn)在很多電視盒子都帶265硬解功能，現(xiàn)在手機都是旗艦機才帶4K265硬解，在很多手機還不支持的情況下，電視盒子已經(jīng)開始支持了。盡快在直播中用到265，能夠節(jié)省30%-50%的帶寬信號。

3. 網(wǎng)絡(luò)傳輸

編碼之后的視頻要進行網(wǎng)絡(luò)分發(fā)，要解決的問題就是上行和下行。需要注意的問題有：盡量減少上行碼率，使用云轉(zhuǎn)碼生成多碼率視頻，根據(jù)客戶情況動態(tài)調(diào)整下行碼率。

4. 直播應(yīng)用

云端分發(fā)的視頻流用戶拿到之后，在直播應(yīng)用里需要做幾件事情，一是營造強的沉浸感，這是VR核心。二是強的臨場感。三是方便的交互方式。此外還有高性能解碼播放、適配各種手機和頭顯設(shè)備、低延遲、秒開、音畫一致等。沉浸感的營造方式主要有全空間包圍、直播畫面大于人眼FOV、等比例還原、Avatar形象提升代入感等。臨場感提升主要靠3D技術(shù)。語音聊天、送禮物等都是比較方便的交互方式。

5. 頭顯設(shè)備

頭顯設(shè)備中比較熱門的是移動頭顯設(shè)備，一種是Cardboard，一種是GeraVR，還有一體機。指標(biāo)參數(shù)方面：分辨率應(yīng)該達到2K，計算能力需要到驍龍820，因為CPU運算和對視頻解碼要求比較高，解碼能力要4K硬解。系統(tǒng)和交互主要是輸入，比較看好Daydream輸入，小手柄的設(shè)計很好，里面有陀螺儀，還有很多按鍵設(shè)計很不錯。其他的要求主要有延遲低、FOV足夠大、無畸變、無色散。

VR直播發(fā)展趨勢

以上介紹的僅僅是VR直播最基礎(chǔ)的形式。目前，很多用戶在觀看的時候想自由走動，從不同角度觀看。未來VR直播肯定能夠支持這點，使用三維場景真實還原現(xiàn)實環(huán)境，并提供更自然直接的交互方式。微軟、Replay Technologies的FreeD在這些方面已經(jīng)有些成果了。甚至像前段時間intel發(fā)布的Project Alloy宣傳片的那樣，與環(huán)境發(fā)生真實交互。

本文由任福新于2016年8月，在WOT2016移動互聯(lián)網(wǎng)技術(shù)峰會VR技術(shù)專場《電商新趨勢下的數(shù)據(jù)分析實踐與思考》主題演講整理而成。WOT2016大數(shù)據(jù)峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開，屆時，數(shù)十位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者將齊聚現(xiàn)場，在圍繞機器學(xué)習(xí)、實時計算、系統(tǒng)架構(gòu)、NoSQL技術(shù)實踐等前沿技術(shù)話題展開深度交流和溝通探討的同時，分享大數(shù)據(jù)領(lǐng)域***實踐和最熱門的行業(yè)應(yīng)用。了解WOT2016大數(shù)據(jù)技術(shù)峰會更多信息，請登陸大會官網(wǎng)：http://wot.51cto.com/2016bigdata/

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】