從異構(gòu)算力，到可以升級(jí)的 GPU 驅(qū)動(dòng)，高通的手機(jī)芯片，總能引領(lǐng)行業(yè)的新方向。

11 月 30 日，高通發(fā)布的全新一代驍龍 8 移動(dòng)平臺(tái)（驍龍 8 Gen 1）讓我們對(duì)即將推出的安卓旗艦手機(jī)有了期待，從最近解禁的跑分來(lái)看，這塊芯片 GPU 峰值性能提升了 59.7%，在 GFXBench 上分?jǐn)?shù)甚至要比 iPhone 13 Pro 的 A15 還要高。

這還不是最大的，全新一代驍龍 8 可謂進(jìn)行了全方位的升級(jí)，其搭載的第 7 代 AI 引擎實(shí)現(xiàn)了性能翻四倍的表現(xiàn)，提升了不止一個(gè)臺(tái)階，帶來(lái)了全新的體驗(yàn)。

除了展臺(tái)上的工程機(jī)可以穩(wěn)定 60 幀玩《原神》，在驍龍技術(shù)峰會(huì)上，人工智能的概念貫穿始終，驍龍已被打造成為了所有移動(dòng)終端協(xié)同工作的核心。

多個(gè) AI 模型同時(shí)跑

過(guò)去，App 通常同時(shí)只會(huì)運(yùn)行一到兩個(gè)神經(jīng)網(wǎng)絡(luò)。但為了更好的體驗(yàn)，我們的應(yīng)用中增加了越來(lái)越多的機(jī)器學(xué)習(xí)模型，隨著終端特性的發(fā)展，這些神經(jīng)網(wǎng)絡(luò)每年又都在變得更復(fù)雜。

高通表示，第 7 代 AI 引擎可以在維持低功耗的同時(shí)搞定這些需求。

作為重要手機(jī)芯片廠商的產(chǎn)品，驍龍的 AI 引擎正在為 18 億人提供支持，已經(jīng)實(shí)現(xiàn)的一些強(qiáng)大功能包括：在拍攝照片時(shí)，機(jī)器學(xué)習(xí)算法會(huì)自動(dòng)幫助人們調(diào)整相機(jī)設(shè)置，獲得最優(yōu)成像效果。AI 還能識(shí)別并理解用戶語(yǔ)音，并基于用戶指令完成任務(wù)。在一些品牌的手機(jī)上，系統(tǒng)應(yīng)用甚至能夠?qū)崟r(shí)將人們的對(duì)話翻譯成不同語(yǔ)言。

驍龍的「專(zhuān)用 AI 處理單元」Hexagon 處理器的情感判斷處理速度要比 CPU 快 30 倍，允許手機(jī)進(jìn)行諸如 Transformer 架構(gòu)模型的本地處理。

高通展示了 Hugging Face 通過(guò)自然語(yǔ)言處理模型 BERT 處理分析手機(jī)上所有下拉通知中的內(nèi)容，AI 會(huì)分析每條信息文字中的語(yǔ)氣和情緒，將其按照緊急、重要、不緊急等情形分類(lèi)顯示，讓你不會(huì)錯(cuò)過(guò)老板催促的郵件。如果消息太多找不到，你還可以用語(yǔ)音發(fā)出指令搜素特定類(lèi)型的消息。

在傳感器中樞模塊上，驍龍 8 還獨(dú)創(chuàng)性的加入了一枚「always on」芯片模塊，這枚功耗極低的 ISP 可關(guān)聯(lián)終端的攝像頭，帶動(dòng)相機(jī) 7×24 小時(shí)全天候啟動(dòng)，從而帶來(lái)一些方便和安全特性——如果探測(cè)到二維碼，手機(jī)將自動(dòng)喚醒應(yīng)用進(jìn)行識(shí)別；在你用完手機(jī)放在桌面上時(shí)，它會(huì)自動(dòng)鎖屏；如果你拿著手機(jī)，有別人越過(guò)你的肩膀偷看，手機(jī)也會(huì)自動(dòng)鎖屏；又或者你想給別人分享手機(jī)屏幕主屏上的內(nèi)容，這時(shí)短消息的提示橫幅會(huì)被自動(dòng)隱藏。

很多人在買(mǎi)來(lái)手機(jī)時(shí)有一件要做的事就是把各種息屏顯示、抬手喚醒功能關(guān)掉以追求省電，不過(guò)在驍龍 8 上你不用這么做了，新一代傳感器模塊 AI 算力提升了 75%，能耗降低了 50%。高通還承諾新的 ISP 在工作時(shí)不進(jìn)行拍照或攝像，數(shù)據(jù)不出模塊單元，可確保用戶的隱私安全。

高通展示了基于第 7 代 AI 引擎的攝像頭 AI 應(yīng)用。手機(jī)攝像頭支持更出色的自動(dòng)對(duì)焦、自動(dòng)曝光和自動(dòng)白平衡調(diào)節(jié)，手勢(shì)檢測(cè)讓用戶無(wú)需按下任何按鍵即可拍照，還有基于 AI 的視頻背景虛化等特性。

背景虛化 + 面部識(shí)別 + 姿態(tài)識(shí)別 + 手勢(shì)，多種神經(jīng)網(wǎng)絡(luò)的效果現(xiàn)在已經(jīng)可以同時(shí)在手機(jī)端實(shí)時(shí)完成了。

人臉上的細(xì)節(jié)也很重要。高通 Spectra 首次全面取代了構(gòu)成攝影基礎(chǔ)的傳統(tǒng)算法，讓 AI 徹底接手了拍攝任務(wù) ，其可識(shí)別人臉特征，確定拍攝對(duì)象的眼睛是否睜開(kāi)，甚至是否在微笑。全新的人臉特征引擎可以檢測(cè) 300 個(gè)特征點(diǎn)，而且還針對(duì)更多人臉特征進(jìn)行了訓(xùn)練，包括眉毛、嘴唇、下頜線等。

除了對(duì)焦和特效，AI 引擎和相機(jī)引擎可以協(xié)同工作，每秒處理 32 億像素，實(shí)現(xiàn)更強(qiáng)的變焦能力。去年搭載于驍龍 888 上的「夜間模式」將大約六幀照片組合在一起形成合成圖像。而驍龍 8 的相機(jī)多幀大引擎將結(jié)合大約 30 幀，提供「五倍的夜間模式」。因?yàn)樵诎倒鈼l件下有更多的像素被追蹤到，相機(jī)可以智能過(guò)濾掉因手抖引起的模糊，進(jìn)而獲得更清晰的圖像。同時(shí)，人工智能還可以消除廣角鏡頭的畫(huà)面扭曲。

隨后是虛擬現(xiàn)實(shí)技術(shù)，高通展示了 AI 變革購(gòu)物體驗(yàn)的新方向。通過(guò) AR 技術(shù)，人們可以在家中布置虛擬家具、虛擬試穿運(yùn)動(dòng)鞋，實(shí)現(xiàn)更多個(gè)性化的購(gòu)物體驗(yàn)。這些應(yīng)用都是通過(guò)高通 AI 引擎優(yōu)化實(shí)現(xiàn)的。

在驍龍 8 移動(dòng)平臺(tái)上，高通還將 AI 技術(shù)融入到調(diào)制解調(diào)器和射頻系統(tǒng)中，帶來(lái)了全球首個(gè) AI 天線調(diào)諧技術(shù)，檢測(cè)用戶握持終端時(shí)手部的位置并切換接收信號(hào)的天線，旨在實(shí)現(xiàn)更快數(shù)據(jù)傳輸、更佳網(wǎng)絡(luò)覆蓋和更久電池續(xù)航。

第 7 代 AI Engine，性能能效都翻倍

這些都是如何做到的？我們知道，要想跑得起 AI 模型就需要強(qiáng)大的算力。在驍龍 8 移動(dòng)平臺(tái)的 AI 引擎上，高通實(shí)現(xiàn)了迄今為止最大的一次 AI 算力進(jìn)步。

具體來(lái)說(shuō)，第 7 代 AI 引擎包含多個(gè)低功耗的 AI 子系統(tǒng)，由下一代 Adreno GPU、Hexagon 處理器、Kryo CPU 和第 3 代高通傳感器中樞（Sensing Hub）組成，它們分別處理不同的計(jì)算需求。整個(gè) SoC 的多個(gè)計(jì)算單元實(shí)現(xiàn)了 6TOPS 的異構(gòu)算力。

在應(yīng)用廣泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同時(shí) AI 運(yùn)算能效比前代提升了 1.7 倍。

第 7 代 AI 引擎能夠?qū)崿F(xiàn)如此量級(jí)的提升，很大程度上得益于新一代的 AI 軟件：除了 Hexagon 處理器張量計(jì)算性能翻倍，共享內(nèi)存翻倍以外，其 AI 軟件性能也提升了 2 倍，現(xiàn)在支持了 INT8 + INT16 的混合精度計(jì)算。

更大的內(nèi)存意味著芯片可以運(yùn)行更大、更深的神經(jīng)網(wǎng)絡(luò)，而更高的精度則可以讓算法推理的結(jié)果更加準(zhǔn)確。開(kāi)發(fā)工具上，新的神經(jīng)網(wǎng)絡(luò)處理 SDK 更新了算子支持，Qualcomm AI Engine Direct 可直接接入移動(dòng)端深度學(xué)習(xí)框架 TensorFlow Lite 和 Android NN API，方便開(kāi)發(fā)者將自己的 AI 模型更快地應(yīng)用在移動(dòng)端。

用手機(jī)完成臺(tái)式機(jī)的任務(wù)

新的 AI 技術(shù)層出不窮，要如何把機(jī)器學(xué)習(xí)模型塞進(jìn)手機(jī)呢？對(duì)于工程師們來(lái)說(shuō)這是一個(gè)非常有挑戰(zhàn)性的工作，使用 AI 技術(shù)自動(dòng)來(lái)完成是一個(gè)很有前景的方向。高通和谷歌合作，將神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）引入了驍龍平臺(tái)，并已集成進(jìn)第 7 代高通 AI 引擎。

正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以將硬件配置、工作需求（如幀數(shù)、準(zhǔn)確度）作為參數(shù)輸入，由 AI 算法幫助工程師快速實(shí)現(xiàn)深度學(xué)習(xí)模型的最優(yōu)設(shè)計(jì)。

AI 可以從最基礎(chǔ)層面開(kāi)始，根據(jù)初始網(wǎng)絡(luò)搜索并進(jìn)行優(yōu)化構(gòu)建符合移動(dòng)端硬件的模型。它能夠考慮時(shí)延、網(wǎng)絡(luò)規(guī)模、精度、功耗等目標(biāo)，讓模型在手機(jī)上運(yùn)行得更快，而開(kāi)發(fā)者的工作時(shí)間也可以從數(shù)月縮短到數(shù)周。

驍龍是全球首個(gè)支持 Google Cloud Vertex AI NAS 的移動(dòng)平臺(tái)。此前，高通有關(guān)提煉最佳神經(jīng)網(wǎng)絡(luò)架構(gòu)的研究 DONNA 還被人工智能學(xué)術(shù)頂會(huì) ICCV 2021 接收。高通希望在未來(lái)讓 NAS 功能幫助多端部署工作，讓 AI 模型快速部署至手機(jī)、筆記本電腦、VR 設(shè)備和汽車(chē)上。

除了以上提到的技術(shù)和用例之外，驍龍 8 的 AI 引擎還能夠?qū)崿F(xiàn)哪些黑科技？比如，高通表示他們?cè)谂c Sonde Health 合作，開(kāi)發(fā)一種基于音頻識(shí)別的診斷技術(shù)，讓手機(jī)只需要傾聽(tīng)你的聲音就可以判斷是否有抑郁、哮喘等健康問(wèn)題。

當(dāng)然還有游戲畫(huà)面中的超分辨率技術(shù)：

通過(guò)利用歷史幀數(shù)據(jù)和 GPU 優(yōu)化運(yùn)動(dòng)估計(jì)，Adreno 圖像運(yùn)動(dòng)引擎可以讓一些游戲的畫(huà)面以雙倍幀率運(yùn)行，同時(shí)保持近乎相同的功耗。

如今全球的游戲玩家已經(jīng)超過(guò) 30 億，而手機(jī)游戲每年的收入占比高達(dá) 52%。這其中，支持 Snapdragon Elite Gaming 的芯片組出貨量已經(jīng)超過(guò) 8 億顆，高通的新技術(shù)會(huì)讓很多玩家受益。按照高通的說(shuō)法，就是要讓移動(dòng)游戲玩家享受端游級(jí)游戲體驗(yàn)。

高通和各家 OEM 廠商、科技公司僅在今年就交付了超過(guò) 200 個(gè)機(jī)器學(xué)習(xí)模型。未來(lái)我們還可以看到更多以往無(wú)法想象的技術(shù)在手機(jī)上出現(xiàn)。

開(kāi)啟移動(dòng)體驗(yàn)的新變革，就需要最先進(jìn)的技術(shù)。明年搭載驍龍 8 的旗艦手機(jī)上，性能強(qiáng)大，功耗降低，功能豐富的 AI 技術(shù)會(huì)給我們帶來(lái)怎樣的體驗(yàn)？讓我們拭目以待。