鴻蒙開源全場景應用開發(fā)—視頻渲染
背景
上期內(nèi)容提到過，已開發(fā)的家庭合影美顏相機應用是同時基于鴻蒙和安卓設備的，我們將對其4個功能模塊即視頻編解碼、視頻渲染、通訊協(xié)議和美顏濾鏡進行拆分講解。上一期內(nèi)容中，我們對視頻編解碼模塊的實現(xiàn)原理進行了解析。本期將繼續(xù)為大家講解視頻渲染模塊，并解析鴻蒙視頻渲染相關類之間的關系。相關代碼已經(jīng)開源到Gitee(https://gitee.com/isrc_ohos/cameraharmony )，歡迎各位下載使用并提出寶貴意見!
家庭合影美顏相機應用效果回顧
先來帶家一起回顧下上期內(nèi)容講解的家庭合影美顏相機應用。此應用能夠?qū)Ⅷ櫭纱笃僚臄z的視頻數(shù)據(jù)實時傳輸?shù)桨沧渴謾C上;并在安卓端為其添加濾鏡，再將處理后的視頻數(shù)據(jù)傳回到鴻蒙大屏進行渲染顯示，從而實現(xiàn)鴻蒙大屏美顏拍照的功能，其流程可以參考圖1,其數(shù)據(jù)流向圖可以參考圖2：
圖1 家庭合影美顏相機應用的效果示意圖
圖2 美顏相機應用視頻數(shù)據(jù)流向圖
應用運行后的動態(tài)場景效果可以參考圖3，圖中下方豎屏顯示的是安卓手機，上方橫屏顯示的是鴻蒙手機(由于實驗環(huán)境缺少搭載鴻蒙系統(tǒng)的大屏設備，因此我們使用鴻蒙手機替代大屏設備模擬實驗場景 )，其顯示的是視頻解碼后渲染的效果。
圖3 應用運行效果圖
SurfaceProvider視頻渲染解析
在鴻蒙中，SurfaceProvider是專門用于繪制圖像視圖的組件，作為基本組件之一，它通常被用于需要快速繪制圖像的地方，如播放視頻的情況。下面為大家講解在完成視頻編解碼處理后，通過鴻蒙SurfaceProvider完成視頻渲染顯示的具體實現(xiàn)原理。共分為如下6個步驟：
步驟1. 聲明SurfaceProvider類對象。
步驟2. 設置SurfaceProvider屬性并添加在頁面整體布局中。
步驟3. 解碼類VDDecoder繼承 SurfaceOps.Callback接口類。
步驟4. 獲取SurfaceOps并設置回調(diào)。
步驟5. 重寫SurfaceCreated()方法，獲取當前Surface。
步驟6. 渲染視頻數(shù)據(jù)。
(1)聲明SurfaceProvider類對象
在進行視頻渲染之前，需要聲明用于渲染視頻的SurfaceProvider類對象。
- private SurfaceProvider surfaceview;// SurfaceProvider用于顯示解碼后的視頻
(2)設置SurfaceProvider屬性并添加在頁面整體布局中
實例化SurfaceProvider類對象并設置相關屬性。先使用setWidth()和setHeight()方法設置大小;pinToZTop()方法使surfaceview置于屏幕布局最頂層顯示。由于可能會出現(xiàn)待渲染視頻數(shù)據(jù)本身是橫屏而屏幕為豎屏顯示，或待渲染視頻數(shù)據(jù)本身是豎屏而屏幕為橫屏顯示等不匹配的情況，因此需要使用setRotation()方法調(diào)整屏幕參數(shù)，使得屏幕顯示方向與視頻數(shù)據(jù)方向相符，其中，屏幕參數(shù)0-180度為橫屏顯示，90-270度為豎屏顯示，本應用中原始視頻數(shù)據(jù)是橫屏的所以此處需要將屏幕參數(shù)設置為180度。接著最主要的是，需要通過getSurfaceOps().get().addCallback()方法設置回調(diào)，這樣可以通過回調(diào)將SurfaceProvider和設備相機相關聯(lián)。
- surfaceview1 = new SurfaceProvider(this); // 實例化類對象
- surfaceview1.setWidth(400); // 設置 SurfaceProvider 大小
- surfaceview1.setHeight(300);
- surfaceview1.getSurfaceOps().get().addCallback(callback);// 設置回調(diào)
- surfaceview1.pinToZTop(true);
- surfaceview1.setRotation(180); // 設置屏幕旋轉(zhuǎn)角度
通過Layout的addComponent()方法將SurfaceProvider添加到整體布局中。
- myLayout.addComponent(surfaceview); // 添加到布局中
(3)解碼類VDDecoder繼承SurfaceOps.Callback類
SurfaceOps.Callback提供了SurfaceProvider被創(chuàng)建、銷毀或者改變時的回調(diào)通知。由于進行視頻渲染的階段是在完成視頻編解碼處理之后，因此解碼類VDDecoder需要繼承SurfaceOps.Callback類，即為SurfaceOps提供一個回調(diào)接口。其中需要全局聲明Surface和SurfaceOps類對象并重寫SurfaceCreated()、SurfaceDestroyed()和SurfaceDestroyed()方法。
- public class VDDecoder implements SurfaceOps.Callback {
- private SurfaceOps holder;// 全局聲明SurfaceOps和SurfaceOps類對象
- private Surface mSurface;
- ...
- @Override // 重寫 SurfaceProvider被創(chuàng)建時的回調(diào)
- public void surfaceCreated(SurfaceOps holder) {
- ...
- }
- @Override // 重寫SurfaceProvider被改變時的回調(diào)
- public void surfaceChanged(SurfaceOps holder, int format, int width, int height) {
- ...
- }
- @Override // 重寫SurfaceProvider被銷毀時的回調(diào)
- public void surfaceDestroyed(SurfaceOps holder) {
- ...
- }
- }
(4)獲取SurfaceOps并設置回調(diào)
在實例化解碼類對象時，將用于渲染編解碼后視頻的surfaceview作為參數(shù)傳入。
- vdDecoder = new VDDecoder(surfaceview);// 創(chuàng)建解碼類對象，并使用surfaceview顯示解碼后的視頻
在解碼類VDDecoder構造函數(shù)中設置SurfaceProvider，調(diào)用SurfaceProvider類的getSurfaceOps().get()方法獲取surfaceview的SurfaceOps;通過SurfaceOps類對象holder調(diào)用addCallback()方法設置回調(diào);再調(diào)用setKeepScreenOn()方法，將參數(shù)設為true，來實現(xiàn)使屏幕一直顯示不會自動關閉的效果。
- public VDDecoder(SurfaceProvider playerView) {
- // 設置 SurfaceProvider，即使用 surfaceview播放解碼后的視頻
- this.holder = surfaceview.getSurfaceOps().get();
- holder.addCallback(this);// 設置回調(diào)
- // 設置該組件讓屏幕不會自動關閉
- holder.setKeepScreenOn(true);
- ...
- }
(5)重寫SurfaceCreated()方法，獲取當前Surface
surfaceCreated()和surfaceDestroyed()是渲染處理的邊界，分別代表SurfaceProvider的創(chuàng)建和銷毀，正式的渲染操作必須在SurfaceProvider被創(chuàng)建后才能進行。重寫surfaceCreated()方法創(chuàng)建SurfaceProvider，將創(chuàng)建狀態(tài)isSurfaceCreated變量設置為true，表示已創(chuàng)建;通過SurfaceOps類對象holder調(diào)用getSurface()方法獲得當前Surface到類對象mSurface中，以便后續(xù)將視頻數(shù)據(jù)通過mSurface渲染到界面上。
- @Override // 重寫 SurfaceProvider被創(chuàng)建時的回調(diào)
- public void surfaceCreated(SurfaceOps holder) {
- isSurfaceCreated = true; // 設置創(chuàng)建狀態(tài)為已創(chuàng)建
- mSurface = holder.getSurface(); // 獲得當前Surface
- ...
- }
(6)渲染視頻數(shù)據(jù)
在編解碼類的監(jiān)聽事件decoderlistener中，獲取編解碼后的數(shù)據(jù)準備渲染。由于得到的相機圖像數(shù)據(jù)是逆時針旋轉(zhuǎn)90度的，此時如果直接進行渲染，顯示的也會是逆時針旋轉(zhuǎn)的效果，因此為了得到正常的顯示畫面，需要對圖像參數(shù)進行調(diào)整，調(diào)用rotateNV21()方法對視頻畫面進行順時針旋轉(zhuǎn)90度，并將旋轉(zhuǎn)后的數(shù)據(jù)存放在byte數(shù)組rotate_bytes中。
通過Surface類對象mSurface調(diào)用showRawImage()方法對旋轉(zhuǎn)后的視頻數(shù)據(jù)進行渲染。此方法第一個參數(shù)表示待渲染數(shù)據(jù)的byte數(shù)組;第二個表示待渲染數(shù)據(jù)的格式，由于此Demo中編解碼的是攝像頭直接獲取的數(shù)據(jù)，所以格式是NV21即YUV420_SP;第三和第四個參數(shù)分別表示渲染畫面的寬和高。
- private Codec.ICodecListener decoderlistener = new Codec.ICodecListener() {
- // 用于監(jiān)聽解碼器，獲取解碼完成后的數(shù)據(jù)
- @Override
- public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int i) {
- ...
- // 將解碼后的 NV21(YUV420SP) 數(shù)據(jù) bytes 順時針旋轉(zhuǎn) 90 度，并通過 Surface 顯示
- rotateNV21(bytes, rotate_bytes, 640, 480, 90);// 旋轉(zhuǎn)后的數(shù)據(jù)用 rotate_bytes 存放
- // 渲染旋轉(zhuǎn)后的數(shù)據(jù) rotate_bytes 通過mSurface顯示出來，第二個參數(shù)是待渲染的數(shù)據(jù)格式即YUV420SP
- mSurface.showRawImage(rotate_bytes, Surface.PixelFormat.PIXEL_FORMAT_YCRCB_420_SP,640, 480);
- }
- ...
- };
之后運行并點擊“開始編解碼”按鈕即可得到上述圖1中展示的將編解碼后的視頻數(shù)據(jù)渲染在surfaceview中的效果。
Surface、SurfaceOps與SurfaceProvider的關系
經(jīng)過上述講解，相信大家已經(jīng)能夠在鴻蒙中正確使用SurfaceProvider來進行視頻渲染了。熟悉安卓的讀者可能已經(jīng)發(fā)現(xiàn)，鴻蒙SurfaceProvider用法和安卓Surface用法有異曲同工之妙。為了方便理解，可以將鴻蒙中的SurfaceProvider、Surface和SurfaceOps分別與安卓中的SurfaceView、Surface、和SurfaceHolder對照查看，其原理類似。下面將為大家解析在鴻蒙中這三個視頻渲染類之間的關系。
圖4 SurfaceProvider、Surface、SurfaceOps關系示意圖
1.Surface與SurfaceProvider關系
Surface與SurfaceProvider之間的關系如圖2所示。在鴻蒙中，每個窗口會對應一個SurfaceProvider，每個Surface會對應一塊屏幕緩沖區(qū)，而SurfaceProvider的作用是處理屏幕緩沖區(qū)中的視頻數(shù)據(jù)，并使用該數(shù)據(jù)在屏幕上繪圖。也就是說，Surfac負責對視頻數(shù)據(jù)進行管理;eSurfaceProvider負責對視頻數(shù)據(jù)進行展示，Surface需要通過SurfaceProvider才能展示其中的內(nèi)容并控制視圖的位置和尺寸。
2.SurfaceOps與SurfaceProvider關系
SurfaceOps是一個接口，其作用類似于一個關于Surface的監(jiān)聽器，能夠訪問SurfaceProvider對應的Surface并調(diào)用Surface中的相關方法。并通過三個回調(diào)方法，及時捕捉Surface的狀態(tài)如創(chuàng)建、銷毀或者改變。
獲取SurfaceOps的方式是：調(diào)用SurfaceProvider類中getSurfaceOps()方法，得到元素類型為SurfaceOps的Optional容器，再通過get()方法從容器中取出SurfaceOps類對象并返回。在成功調(diào)用并得到返回值之后，就可以通過返回的SurfaceOps類對象調(diào)用addCallback()方法為Surface設置回調(diào)：
- void addCallback(SurfaceOps.Callback var1);// 設置SurfaceOps回調(diào)
圖2中顯示，在Surface與SurfaceProvider之間還存在一個SurfaceOps.Callback類，SurfaceOps的回調(diào)就是通過內(nèi)部子接口SurfaceOps.Callback實現(xiàn)的，其有三個回調(diào)方法：
- surfaceCreated()：當SurfaceProvider發(fā)生結構性的變化如格式或大小改變時，調(diào)用此方法。
- surfaceChanged()：當SurfaceProvide被創(chuàng)建時，調(diào)用此方法。
- surfaceDestroyed()：當SurfaceProvider在要被銷毀時，立即調(diào)用此方法。
- public interface Callback { // 內(nèi)部子接口CallBack
- void surfaceCreated(SurfaceOps var1);// SurfaceProvider被創(chuàng)建時
- void surfaceChanged(SurfaceOps var1, int var2, int var3, int var4);// SurfaceProvider被改變時
- void surfaceDestroyed(SurfaceOps var1);// SurfaceProvider被銷毀時
- }
上面提到過SurfaceOps是一個接口，因此在實際使用之前，需要先重寫上述三個回調(diào)方法，才能正常感知到SurfaceProvider的創(chuàng)建、改變或銷毀。
