[[419280]]

前言

SurfaceView 以及 TextureView 均繼承于 android.view.View，屬于 Android 提供的控件體系的一部分。與普通 View 不同，它們都在獨立的線程中繪制和渲染。所以，相比于普通的 ImageView 它們的性能更高，因此常被用在對繪制的速率要求比較高的應用場景中，用來解決普通 View 因為繪制的時間延遲而帶來的掉幀的問題，比如用作相機預覽、視頻播放的媒介等;

今天我們就來詳細介紹下;

一、Surface 簡介

Surface 就是“表面”的意思，可以簡單理解為內(nèi)存中的一段繪圖緩沖區(qū)。在SDK的文檔中，對Surface的描述是這樣的：“Handle onto a raw buffer that is being managed by the screen compositor”，翻譯成中文就是“由屏幕顯示內(nèi)容合成器(screen compositor)所管理的原生緩沖器的句柄”，這句話包括下面兩個意思:

• 通過Surface(因為Surface是句柄)就可以獲得原生緩沖器以及其中的內(nèi)容。就像在C語言中，可以通過一個文件的句柄，就可以獲得文件的內(nèi)容一樣;
• 原生緩沖器(rawbuffer)是用于保存當前窗口的像素數(shù)據(jù)的。
• 簡單的說 Surface 對應了一塊屏幕緩沖區(qū)，每個Window對應一個Surface，任何View都是畫在Surface上的，傳統(tǒng)的view共享一塊屏幕緩沖區(qū)，所有的繪制必須在UI線程中進行我們不能直接操作Surface實例，要通過SurfaceHolder，在SurfaceView中可以通過getHolder()方法獲取到SurfaceHolder實例;
• Surface 是一個用來畫圖形的地方，但是我們知道畫圖都是在一個Canvas對象上面進行的，Surface 中的 Canvas 成員，是專門用于提供畫圖的地方，就像黑板一樣，其中的原始緩沖區(qū)是用來保存數(shù)據(jù)的地方;
• Surface本身的作用類似一個句柄，得到了這個句柄就可以得到其中的Canvas、原始緩沖區(qū)以及其他方面的內(nèi)容，所以簡單的說Surface是用來管理數(shù)據(jù)的(句柄);

二、SurfaceView應用詳解

1、SurfaceView 介紹

• 簡單的說SurfaceView就是一個有Surface的View里面內(nèi)嵌了一個專門用于繪制的Surface,SurfaceView 控制這個 Surface 的格式和尺寸以及繪制位置。
• SurfaceView 就是在 Window 上挖一個洞，它就是顯示在這個洞里，其他的View是顯示在Window上，所以View可以顯式在 SurfaceView之上，你也可以添加一些層在SurfaceView之上。

if (mWindow == null) {   
    mWindow = new MyWindow(this);   
    mLayout.type = mWindowType;   
    mLayout.gravity = Gravity.LEFT|Gravity.TOP;   
    mSession.addWithoutInputChannel(mWindow, mWindow.mSeq, mLayout,   
    mVisible ? VISIBLE : GONE, mContentInsets);   
} 

很明顯，每個SurfaceView創(chuàng)建的時候都會創(chuàng)建一個MyWindow，new MyWindow(this)中的this正是SurfaceView自身，因此將SurfaceView和window綁定在一起，而前面提到過每個window對應一個Surface。

所以SurfaceView也就內(nèi)嵌了一個自己的Surface，可以認為SurfaceView是來控制Surface的位置和尺寸。傳統(tǒng)View及其派生類的更新只能在UI線程，然而UI線程還同時處理其他交互邏輯，這就無法保證view更新的速度和幀率了，而SurfaceView可以用獨立的線程來進行繪制。

因此可以提供更高的幀率，例如游戲，攝像頭取景等場景就比較適合用SurfaceView來實現(xiàn)。

Surface是縱深排序(Z-ordered)的，這表明它總在自己所在窗口的后面。

Surfaceview提供了一個可見區(qū)域，只有在這個可見區(qū)域內(nèi)的Surface部分內(nèi)容才可見，可見區(qū)域外的部分不可見，

所以可以認為SurfaceView就是展示Surface中數(shù)據(jù)的地方,Surface就是管理數(shù)據(jù)的地方，SurfaceView就是展示數(shù)據(jù)的地方，只有通過SurfaceView才能展現(xiàn)Surface中的數(shù)據(jù)。

• Surface的排版顯示受到視圖層級關系的影響，它的兄弟視圖結點會在頂端顯示。這意味者Surface的內(nèi)容會被它的兄弟視圖遮擋，這一特性可以用來放置遮蓋物(overlays)(例如，文本和按鈕等控件);
• 注意，如果Surface上面有透明控件，那么它的每次變化都會引起框架重新計算它和頂層控件的透明效果，這會影響性能。surfaceview變得可見時，surface被創(chuàng)建;surfaceview隱藏前，surface被銷毀;
• 這樣能節(jié)省資源。如果你要查看surface被創(chuàng)建和銷毀的時機，可以重載surfaceCreated(SurfaceHolder)和surfaceDestroyed(SurfaceHolder);
• SurfaceView的核心在于提供了兩個線程：UI線程和渲染線程,兩個線程通過“雙緩沖”機制來達到高效的界面適時更新。而這個雙緩沖可以理解為，SurfaceView在更新視圖時用到了兩張Canvas，一張frontCanvas和一張backCanvas;
• 每次實際顯示的是frontCanvas，backCanvas存儲的是上一次更改前的視圖，當使用lockCanvas()獲取畫布時，得到的實際上是backCanvas而不是正在顯示的frontCanvas，之后你在獲取到的backCanvas上繪制新視圖，再unlockCanvasAndPost(canvas)此視圖，那么上傳的這張canvas將替換原來的frontCanvas作為新的frontCanvas，原來的frontCanvas將切換到后臺作為backCanvas;
• 如果你已經(jīng)先后兩次繪制了視圖A和B，那么你再調用lockCanvas()獲取視圖，獲得的將是A而不是正在顯示的B，之后你將重繪的C視圖上傳，那么C將取代B作為新的frontCanvas顯示在SurfaceView上，原來的B則轉換為backCanvas;
• 不用畫布，直接在窗口上進行繪圖叫做無緩沖繪圖。用了一個畫布，將所有內(nèi)容都先畫到畫布上，在整體繪制到窗口上，就該叫做單緩沖繪圖，那個畫布就是一個緩沖區(qū)。用了兩個畫布，一個進行臨時的繪圖，一個進行最終的繪圖，這樣就叫做雙緩沖;

2、SurfaceView 的優(yōu)缺點

• 一般的Activity包含的多個View會組成View hierachy的樹形結構，只有最頂層的DectorView才是對WMS可見的，這個DecorView在WMS中有一個對應的WindowState，再SurfaceFlinger中有對應的Layer，而SurfaceView正因為它有自己的Surface，有自己的Window，它在WMS中有對應的WindowState，在SurfaceFlinger中有Layer。
• 雖然在App端它仍在View hierachy中，但在Server端(WMS和SurfaceFlinger)中，它與宿主窗口是分離的。這樣的好處是對這個Surface的渲染可以放到單獨的線程中去做，渲染時可以有自己的GL context。
• 因為它不會影響主線程對時間的響應。所以它的優(yōu)點就是可以在獨立的線程中繪制，不影響主線程，而且使用雙緩沖機制，播放視頻時畫面更順暢。
• 但是這也有缺點，因為這個Surface不在View hierachy中，它的顯示也不受View的屬性控制，所以不能進行平移、縮放等動畫，它也不能放在其它ViewGroup中，SurfaceView不能嵌套使用，而且不能使用某些View的特性，例如View.setAlpha()。
• 從 Android7.0 開始，SurfaceView 的窗口位置與其他 View 渲染同步更新。這意味著在屏幕上平移和縮放 SurfaceView 不會導致渲染失真。

3、SurfaceHolder 簡介

• 顯示一個 Surface 的抽象接口，使你可以控制 Surface 的大小和格式以及在Surface上編輯像素，和監(jiān)視 Surace 的改變。這個接口通常通過SurfaceView類實現(xiàn)。
• 簡單的說就是我們無法直接操作Surface只能通過SurfaceHolder這個接口來獲取和操作Surface。
• SurfaceHolder中提供了一些lockCanvas():獲取一個Canvas對象，并鎖定之。
• 所得到的Canvas對象，其實就是 Surface 中一個成員。加鎖的目的其實就是為了在繪制的過程中，Surface 中的數(shù)據(jù)不會被改變。lockCanvas 是為了防止同一時刻多個線程對同一 canvas寫入。
• 從設計模式的角度來看,Surface、SurfaceView、SurfaceHolder實質上就是MVC(Model-View-Controller)，Model就是模型或者說是數(shù)據(jù)模型，更簡單的可以理解成數(shù)據(jù)，在這里也就是Surface，View就是視圖，代表用戶交互界面，這里就是 SurfaceView, SurfaceHolder 就是 Controller.

4、SurfaceView簡單應用

SurfaceView 的 getHolder() 方法獲取圖層 (Surface)，它通過接口 SurfaceHolder 提供。當 SurfaceView 所在的窗口可見的時候，圖層 (Surface) 會被創(chuàng)建。你可以通過實現(xiàn) SurfaceHolder.Callback.surfaceCreated(SurfaceHolder) 和 SurfaceHolder.Callback.surfaceDestroyed(SurfaceHolder) 監(jiān)聽 Surface 的創(chuàng)建和銷毀事件，并且只能在這兩個方法之間對圖層 (Surface) 進行操作。SurfaceView 和 SurfaceHolder.Callback 的所有方法都會被主線程調用，所以當在子線程中進行繪制的時候，必須妥善進行線程的同步

class SurfaceViewActivity : CommonActivity<ActivitySurfaceViewBinding>(), SurfaceHolder.Callback { 
    private lateinit var camera: Camera 
    private lateinit var surfaceView: SurfaceView 
    private lateinit var holder: SurfaceHolder 
    override fun getLayoutResId(): Int = R.layout.activity_surface_view 
    override fun doCreateView(savedInstanceState: Bundle?) { 
        surfaceView = SurfaceView(this) 
        // Add callback to listen the lifecycle callback for SurfaceView 
        holder = surfaceView.holder 
        holder.addCallback(this) 
        binding.cl.addView(surfaceView) 
    } 
    override fun surfaceCreated(holder: SurfaceHolder?) { 
        camera = Camera.open() 
        camera.setPreviewDisplay(holder) 
        camera.startPreview() 
    } 
    override fun surfaceChanged(holder: SurfaceHolder?, format: Int, width: Int, height: Int) { 
        // Ignored, Camera does all the work for us 
    } 
    override fun surfaceDestroyed(holder: SurfaceHolder?) { 
        camera.stopPreview() 
        camera.release() 
    } 
} 

SurfaceView 也提供了生命周期的回調接口。當我們只需要從 SurfaceView 上面得到一個 SurfaceHolder 實例然后向其中添加回調即可;

二、TextureView詳解

1、TextureView介紹

• SurfaceView不在主窗口中，它沒法做動畫沒法使用一些View的特性方法，所以在Android 4.0中引入了TextureView，它是一個結合了View和SurfaceTexture的View對象。
• TextureView 在 API 14 中引入，用來展示流，比如視頻和 OpenGL 等的流。這些流可以來自應用進程或者是跨進程的。它只能用在開啟了硬件加速的窗口，否則無法繪制任何內(nèi)容。與 SurefaceView 不同，TextureView 不會創(chuàng)建一個獨立的窗口，而是像一個普通的 View 一樣。這種區(qū)別使得 TextureView 可以移動、轉換和做動畫等，比如你可以使用 TextureView 的 setAlpha() 方法將其設置成半透明的
• 它不會在WMS中單獨創(chuàng)建窗口，而是作為View hierachy中的一個普通view，因此它可以和其他普通View一樣進行平移、旋轉等動畫。但是TextureView必須在硬件加速的窗口中，它顯示的內(nèi)容流數(shù)據(jù)可以來自App進程或者遠程進程。
• TextureView 重載了 draw() 方法，其中主要 SurfaceTexture 中收到的圖像數(shù)據(jù)作為紋理更新到對應的 HardwareLayer 中。
• SurfaceTexture.OnFrameAvailableListener用于通知TextureView內(nèi)容流有新圖像到來。SurfaceTextureListener接口用于讓TextureView的使用者知道SurfaceTexture已準備好，這樣就可以把SurfaceTexture交給相應的內(nèi)容源。
• Surface為BufferQueue的Producer接口實現(xiàn)類，使生產(chǎn)者可以通過它的軟件或硬件渲染接口為SurfaceTexture內(nèi)部的BufferQueue提供graphic buffer。
• SurfaceTexture 可以用作非直接輸出的內(nèi)容流，這樣就提供二次處理的機會。與SurfaceView直接輸出相比，這樣會有若干幀的延遲。同時，由于它本身管理BufferQueue，因此內(nèi)存消耗也會稍微大一些。
• TextureView 是一個可以把內(nèi)容流作為外部紋理輸出在上面的 View, 它本身需要是一個硬件加速層。

TextureView 的使用非常簡單，你只需要獲取到它的 SurfaceTexture. 然后就可以使用它來渲染;

class TextureViewActivity : CommonActivity<ActivityTextureViewBinding>(), TextureView.SurfaceTextureListener { 
    private lateinit var camera: Camera 
    private lateinit var textureView: TextureView 
    override fun getLayoutResId(): Int = R.layout.activity_texture_view 
    override fun doCreateView(savedInstanceState: Bundle?) { 
        textureView = TextureView(this) 
        // Add callback to listen the lifecycle callback for TextureView 
        textureView.surfaceTextureListener = this 
        binding.cl.addView(textureView) 
    } 
    override fun onSurfaceTextureAvailable(surface: SurfaceTexture?, width: Int, height: Int) { 
        camera = Camera.open() 
        // Add the surface texture to camera 
        camera.setPreviewTexture(surface) 
        camera.startPreview() 
    } 
    override fun onSurfaceTextureSizeChanged(surface: SurfaceTexture?, width: Int, height: Int) { 
        // Ignored, Camera does all the work for us 
    } 
    override fun onSurfaceTextureUpdated(surface: SurfaceTexture?) { 
        // Invoked every time there's a new Camera preview frame 
    } 
    override fun onSurfaceTextureDestroyed(surface: SurfaceTexture?): Boolean { 
        // Release everything when texture destroyed 
        camera.stopPreview() 
        camera.release() 
        return true 
    } 
} 

TextureView 的 SurfaceTexture 可以通過 getSurfaceTexture() 方法或者通過 SurfaceTextureListener 獲取到。還有一點很重要的是，SurfaceTexture 只在 TextureView 關聯(lián)到窗口并且 onAttachedToWindow() 被觸發(fā)的之后可用。因此，強烈建議使用監(jiān)聽的方式來獲取 SurfaceTexture 可用的通知。

還有一個重要的就是，在同一時刻只能由一個生產(chǎn)者可以使用 TextureView，就是說，當你使用 TextureView 作為相機預覽的時候是無法使用 lockCanvas() 同時在 TextureView 上面進行繪制的。

除了只能在開啟了硬件加速的窗口中使用，TextureView 消費的內(nèi)存要比 SurfaceView 要多，并伴隨著 1-3 幀的延遲;

2、SurfaceTexture介紹

• SurfaceTexture 是 Surface 和 OpenGL ES(GLES) 紋理的組合。SurfaceTexture 用于提供輸出到 GLES 紋理的 Surface 。
• SurfaceTexture 是從Android 3.0開始加入，與SurfaceView不同的是，它對圖像流的處理并不直接顯示，而是轉為GL外部紋理，因此用于圖像流數(shù)據(jù)的二次處理。
• 比如 Camera 的預覽數(shù)據(jù)，變成紋理后可以交給 GLSurfaceView 直接顯示，也可以通過SurfaceTexture 交給TextureView 作為 View heirachy 中的一個硬件加速層來顯示。
• 首先，SurfaceTexture從圖像流 (來自Camera預覽、視頻解碼、GL繪制場景等) 中獲得幀數(shù)據(jù)，當調用updateTexImage()時，根據(jù)內(nèi)容流中最近的圖像更新 SurfaceTexture 對應的GL紋理對象。
• SurfaceTexture 包含一個應用是其使用方的BufferQueue。當生產(chǎn)方將新的緩沖區(qū)排入隊列時，onFrameAvailable() 回調會通知應用。然后，應用調用updateTexImage()，這會釋放先前占有的緩沖區(qū)，從隊列中獲取新緩沖區(qū)并執(zhí)行EGL調用，從而使GLES可將此緩沖區(qū)作為外部紋理使用。

3、SurfaceView 和 TextureView區(qū)別

• SurfaceView 是一個有自己Surface的View。它的渲染可以放在單獨線程而不是主線程中。其缺點是不能做變形和動畫。SurfaceTexture可以用作非直接輸出的內(nèi)容流，這樣就提供二次處理的機會。
• 與SurfaceView直接輸出相比，這樣會有若干幀的延遲。同時，由于它本身管理BufferQueue，因此內(nèi)存消耗也會稍微大一些。
• TextureView是一個可以把內(nèi)容流作為外部紋理輸出在上面的View。它本身需要是一個硬件加速層。事實上TextureView本身也包含了SurfaceTexture。
• 它與SurfaceView+SurfaceTexture組合相比可以完成類似的功能(即把內(nèi)容流上的圖像轉成紋理，然后輸出)。區(qū)別在于TextureView是在View hierachy中做繪制，因此一般它是在主線程上做的(在Android 5.0引入渲染線程后，它是在渲染線程中做的)。
• 而SurfaceView+SurfaceTexture在單獨的Surface上做繪制，可以是用戶提供的線程，而不是系統(tǒng)的主線程或是渲染線程。
• 與 SurfaceView 相比，TextureView 具有更出色的 Alpha 版和旋轉處理能力，但在視頻上以分層方式合成界面元素時，SurfaceView 具有性能方面的優(yōu)勢。
• 當客戶端使用 SurfaceView 呈現(xiàn)內(nèi)容時，SurfaceView 會為客戶端提供單獨的合成層。如果設備支持，SurfaceFlinger 會將單獨的層合成為硬件疊加層。
• 當客戶端使用 TextureView 呈現(xiàn)內(nèi)容時，界面工具包會使用 GPU 將 TextureView 的內(nèi)容合成到 View 層次結構中。
• 對內(nèi)容進行的更新可能會導致其他 View 元素重繪，例如，如果其他 View 位于 TextureView 上方。View 呈現(xiàn)完成后，SurfaceFlinger 會合成應用界面層和所有其他層，以便每個可見像素合成兩次。

• 在Android 7.0上系統(tǒng) Surfaceview 的性能比 TextureView 更有優(yōu)勢，支持對象的內(nèi)容位置和包含的應用內(nèi)容同步更新，平移、縮放不會產(chǎn)生黑邊。在7.0以下系統(tǒng)如果使用場景有動畫效果，可以選擇性使用TextureView。
• 由于失效(invalidation)和緩沖的特性，TextureView增加了額外1~3幀的延遲顯示畫面更新。
• TextureView總是使用GL合成，而SurfaceView可以使用硬件overlay后端，可以占用更少的內(nèi)存。
• TextureView的內(nèi)部緩沖隊列導致比SurfaceView使用更多的內(nèi)存。
• SurfaceView：內(nèi)部自己持有surface，surface 創(chuàng)建、銷毀、大小改變時系統(tǒng)來處理的，通過surfaceHolder 的callback回調通知。
• 當畫布創(chuàng)建好時，可以將surface綁定到MediaPlayer中。SurfaceView如果為用戶可見的時候，創(chuàng)建SurfaceView的SurfaceHolder用于顯示視頻流解析的幀圖片，如果發(fā)現(xiàn)SurfaceView變?yōu)橛脩舨豢梢姷臅r候，則立即銷毀SurfaceView的SurfaceHolder，以達到節(jié)約系統(tǒng)資源的目的

總結：

TextureView 和 SurfaceView 都繼承自 View 類，但是 TextureView 在 Andriod 4.0 之后的 API 中才能使用。SurfaceView 可以通過 SurfaceHolder.addCallback() 方法在子線程中更新 UI;TextureView 則可以通過 TextureView.setSurfaceTextureListener() 在子線程中更新 UI，能夠在子線程中更新 UI 是上述兩控件相比于 View 的最大優(yōu)勢