移動計算的未來:是什么在推動變革?
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯(lián)系出處。
智能手機之后的下一塊屏幕,到底會是什么?
AR隱形眼鏡?可做到隨時隨地在眼球上完成圖像計算,在直徑不到2cm的鏡片上,集成了圖像處理芯片、顯示控制和無線通信系統(tǒng)等。
AR眼鏡的無線設計參考也來了,智能手機和 AR 眼鏡之間可以對計算負載進行分配,二者的融合將會更為絲滑,不免讓人對消費級AR眼鏡抱有更多期待。
另一邊,ARM for PC也逐漸成為行業(yè)共識。ARM架構的低功耗、低耗電優(yōu)勢被移植到PC端,從而打破移動PC“苦續(xù)航久矣”的局面。
不管是當下火熱的元宇宙領域,還是上一代移動計算平臺,似乎不約而同地向著一個趨勢發(fā)展——
移動性高、低功耗、長續(xù)航,還希望兼顧高性能。
而這些特性,不正是智能手機所具備的?同時也是它在十幾年內成為主流移動計算平臺的最重要原因。
不知道什么時候開始,智能手機已經(jīng)不是各種移動計算平臺當中的唯一主角了——至少從技術底層涌動的潮水來看,已經(jīng)再明顯不過。
新型移動計算平臺基于過往的升維和融合
我們確實已經(jīng)來到移動計算發(fā)展的新節(jié)點。
從定義來看,移動計算的范疇覆蓋了可移動設備各類型數(shù)據(jù)的產(chǎn)生、分享、顯示等全鏈條過程,其中的數(shù)據(jù)可能來源于人機交互,也可能來自于設備感知等層面。
當下最普及的移動計算平臺非手機這一形態(tài)莫屬。
如今隨著5G和AI技術普及,人機交互進一步革新,設備感知形式也逐漸發(fā)生變化,并進一步催生出新型移動計算形態(tài),如XR硬件、傳統(tǒng)PC更新。
首先來看5G,無論移動計算的平臺形態(tài)如何迭代,通信技術都是不可或缺的一環(huán),甚至會對網(wǎng)絡連接提出更高質量要求。
回望過去從2G、3G再到4G的發(fā)展,其實都聚焦于手機這一載體的應用拓展。而來到5G,這種趨勢已悄然發(fā)生了變化。
標準制定組織3GPP最新釋出的5G功能,應用場景不僅僅局限于手機,而是更加多元化。
而底層AI能力,則是驅動移動計算發(fā)展的另一大因素,能保證移動設備在有限算力和電源的條件下,具備足夠的數(shù)據(jù)處理能力,以應對多元化的場景,比如游戲、娛樂、拍照等與我們生活息息相關的功能。
在智能化、數(shù)字化的當下,AI無疑成為了各大平臺廠商、芯片供應商爭相競逐的對象。
于是,移動計算隨著5G和AI的自然拓展和遷移,并催生了具有更新、更好體驗的全新平臺,也就變得順理成章了。
而如果將5G當做一種基礎能力,以AI能力為劃分,移動計算的發(fā)展方向大致還可以分成兩類:
一類是升維,一類是融合。
先說升維,以基于XR設備的移動計算平臺為典型。人類幾千年傳播信息的媒介,無外乎都是二維、平面的介質;而元宇宙的XR設備,直接將二維升成了三維。我們存在的整個空間都變成虛擬化和可計算。這對底層的算法、算力提出了更高的要求。
拿我們最能感知到的視覺算法來說,手機主要聚焦于二維拍照的場景,包括人臉檢測、超分降噪、畫質增強、超清人像等。
以高通這一底層玩家為例,驍龍平臺的高通AI引擎屢屢在這方面進階:目前的第七代高通AI引擎已經(jīng)將面部特征識別點增加到了300個,人臉檢測速度相比上一代提升300%,還有像多幀降噪、局部運動補償?shù)裙δ堋?/p>
而來到XR設備端,一戴上即開始全場景實時計算,包括位置跟蹤、3D對象跟蹤、平面檢測、空間映射和網(wǎng)格化、場景理解等;不僅算法從二維升階到三維,還對真實性、低時延提出了更高的要求。
另一類則是融合,這一趨勢又以基于PC的移動計算為典型。隨著移動辦公、遠程辦公的需求興起,PC端市場在這幾年中正在迎來前所未有的增長。去年一年,全球PC市場創(chuàng)下了近十年來最大出貨量,達到3.41億臺。
值得注意的是,且不說一些芯片玩家開始ARM for PC,就是更多手機廠商、互聯(lián)網(wǎng)廠商也紛紛在布局平板、筆記本產(chǎn)品,軟件開發(fā)者們也開始在打破移動與PC之間的邊界。
各種原因,其實不難理解,就是融合生態(tài)的優(yōu)勢。移動手機的發(fā)展如火如荼,PC價值又無法替代。不如兩者打通、無縫切換,實現(xiàn)全場景的覆蓋。
這一點已成為業(yè)界共識。比如為了更好的“融合”,一些廠商原本在手機端的一些算法,比如視頻會議時的面部識別、語音識別以及端側AI加速等逐漸遷移到了PC端,還有像多屏協(xié)同、通用控制等新興功能,正在成為生產(chǎn)力必備。
綜上不難看出,以AI為驅動的移動計算的發(fā)展演變,正從基于手機這種單一形態(tài),走向基于手機、XR、新型移動PC等終端或平臺的多融合、多場景,而且速度迅猛。以XR設備為例,根據(jù)Counterpoint今年1月的數(shù)據(jù),預計2025年,XR頭顯出貨量將達到1.05億臺,相較2021年的1100萬臺增長10倍。
但如何走怎么走,以及一些尚待解決的技術問題,比如算力、算法以及架構兼容等,都是企業(yè)不小的難題,也將影響著未來移動計算的發(fā)展迭代。
怎么看未來移動計算的發(fā)展迭代?
從外在形式來看,移動計算的當下與未來,似乎落在了智能手機、XR設、移動PC等表現(xiàn)形式各異的硬件上。
但無論用于移動計算的終端或平臺形態(tài)如何變化,決定根本屬性的要素依舊是芯片、底層軟件和算法。
作為當下移動計算平臺的代表,智能手機的技術路線已經(jīng)發(fā)展成熟,且其移動計算能力也還在不斷迭代升級。
由此一來,關于“移動計算下一步該如何走”的問題,便不再完全是以0為起點的技術開創(chuàng),而更多是如何讓已有技術實現(xiàn)跨界遷移。
具體該怎么做?
行業(yè)玩家高通給出了一種技術路線參考——
將始于智能手機的通用硬件架構和軟件特性作為關鍵因素,逐步擴展至XR、PC等新型移動計算平上。
而這條路線的最底層能力,還要從5G和AI看起。
一方面,兩者驅動下,手機端的人機交互方式不再局限于觸摸屏幕。
如語音助手、手勢交互等功能,他們基于NLP、CV技術,實現(xiàn)了更符合人類自然信息交流方式的人機交互,并激發(fā)出了很多前所未有的應用。如第七代高通AI引擎,可以實現(xiàn)通過分析用戶聲音判斷其心情是否抑郁、身體是否健康。
但是這些大量AI應用數(shù)據(jù)要在移動計算平臺上快速傳輸,這也就要求平臺同時具備強大的5G通信能力。
而這些在智能手機上“錦上添花”的功能,放到XR設備上則可能會是剛需,對5G能力的要求也會進一步增強。
另一方面,海量算法加持讓手機性能一再突破極限。
比如攝像方面,降噪、自動對焦、使用濾鏡、8K HDR等功能都可在算法的加持下實現(xiàn),這些成為了手機拍攝大片的關鍵。
游戲方面,利用深度學習超級采樣技術(DLSS),手機上也能提取渲染場景的多維特征,并智能的組合多幀畫面細節(jié)來構造高質量圖像,實現(xiàn)超越傳統(tǒng)渲染的性能,比如云渲染了解一下,這就對5G和AI有著更高維的技術要求。
還有信號穩(wěn)定傳輸、電池續(xù)航等問題,也能通過AI來智能優(yōu)化。
這些方法思路同樣可以用在XR設備、移動PC上來提升性能。
實際上,以AI作為共通的底層能力,為智能手機、XR設備、移動PC提供技術驅動,是行業(yè)內已經(jīng)認可的技術路線。
比如,基于“統(tǒng)一的技術路線圖”,高通的AI能力已經(jīng)逐步滲透到XR、PC等幾乎所有類型的終端。
XR領域,Meta Oculus、微軟Hololens、字節(jié)Pico、創(chuàng)維VR等幾乎所有主流XR廠商的頭顯設備,都采用了驍龍XR系列平臺。其中驍龍XR2是當前的代表方案之一,高通稱這是首款將5G和AI結合的XR芯片。
它引入了七路攝像頭支持和定制化計算機視覺處理器,實現(xiàn)了實時追蹤用戶頭部、嘴唇和眼球,26點手部骨骼追蹤等功能。
場景理解和3D重建能夠將虛擬信息與物理世界更好融合,帶來更為沉浸的交互體驗。
但與此同時,設備還會感知用戶所在的外部環(huán)境,可以通過AI識別出門鈴、孩子哭聲等聲音,來提醒人們處理緊急事件。語音助手也會實時待命,并能在嘈雜環(huán)境中識別命令,基于5G信號的能力及時將消息發(fā)送至用戶終端(移動計算平臺)上。
近日高通還發(fā)布了最新的第一代驍龍XR2+平臺,在帶來續(xù)航和散熱表現(xiàn)的大幅提升之外,還引入了全新圖像處理管線,支持并行感知技術,包括頭部、手勢和手柄追蹤、3D重建以及低時延視頻透視;該平臺的高像素密度能夠支持PC級虛擬景觀,并能夠同時支持多個傳感器和攝像頭,為更逼真的虛擬人物賦予細致入微的面部表情。
Meta已經(jīng)發(fā)布了基于該平臺的首款產(chǎn)品Meta Quest Pro,與同樣搭載驍龍平臺的手柄結合,可通過多個嵌入式定位攝像頭進行自追蹤,并與頭顯之間實現(xiàn)超低時延;結合面部和眼球追蹤時,能夠在VR中為用戶打造更加自然的虛擬形象。這同樣不失為是一種以升維為核心的融合。
移動PC領域,高通也在嘗試用5G和AI來提升移動辦公的生產(chǎn)效率、保護終端隱私。
比如召開遠程會議時,設備可以準確感知到主體的面部,即便是在人口嘈雜的街邊咖啡店也可以實現(xiàn)精準聚焦,周圍的路人也就不會出現(xiàn)在會議上。
在第三代驍龍8cx計算平臺上,高通AI引擎可以提供29+ TOPS的加速能力,最高性能提升達3倍。云端部署、本地運行的方式,還能讓輕薄本挑戰(zhàn)高性能任務,并不占用過多資源。
除了自身應用落地外,高通還將這些底層AI能力集成到一個統(tǒng)一AI軟件棧,實現(xiàn)移動計算底層“大一統(tǒng)”。最上游還是統(tǒng)一的AI框架和AI引擎Direct。隨后通過不同的開發(fā)者服務、系統(tǒng)軟件、操作系統(tǒng),分發(fā)給不同的移動計算平臺,比如,智能手機、XR、ACPC(Always Connected PC,即始終連接的PC)等都在其中。
其中高通還為開發(fā)者準備了一系列工具包,包括AI模型增效工具包、神經(jīng)網(wǎng)絡架構搜索、模型分析器等。
這樣一來,它就能實現(xiàn)不同終端之間的應用開發(fā)互聯(lián)互通,如手機到XR設備,以實現(xiàn)不同終端之間的能力打通。
以手機為始,拓展出XR和PC等新形態(tài),最后再將其集成給開發(fā)者,構建多元的開放生態(tài),是有點“一生二,二生三,三生萬物”的感覺了。
而如果觀察高通在5G和AI前沿技術上的探索,會發(fā)現(xiàn)他們對移動計算的想象還遠不止于此。
高通的通信領導力自然不必多說。今年3月,高通發(fā)布了第五代5G基帶及射頻解決方案——“驍龍X70”。它不但是全球唯一支持從600MHz到41GHz全部5G商用頻段的廠商,還全球首個集成了5G AI處理器,它可以利用AI優(yōu)化Sub-6GHz、毫米波頻段的5G鏈路,提升速度、網(wǎng)絡覆蓋、移動性、鏈路穩(wěn)健性、能效,并降低時延。
而在AI的探索中,今年4月高通發(fā)表了一篇論文,介紹了一種用于全景分割的新型神經(jīng)網(wǎng)絡架構,基于對實例、語義關系的學習,它能像素級標記圖像,有效識別事物特征并進行預測,同時還能自動關注重要的事物,并在所有基準測試中都達到了SOTA。
該研究可應用于自動駕駛、AR等場景下,目前已被CVPR 2022收錄。
想象一下這項成果走向應用,那不就是Free Guy(科幻電影《失控玩家》)走進現(xiàn)實了嗎?
未來移動計算還承載著人機交互變革
不可否認的是,包括高通乃至更多玩家都已經(jīng)認識到以XR、ACPC為代表的新型移動計算平臺催生出的新興場景,有著前所未有的市場和價值。
用XR設備打開的元宇宙,可用于工業(yè)、娛樂、游戲、社交等一切可虛擬化的現(xiàn)實場景,在被廣泛應用之后,未來幾年足以撬動超8000億美元市場規(guī)模。而隨著以新型移動PC為代表的移動計算平臺的更加通用,以及與其他計算平臺的更加協(xié)同,更多場景與價值有待發(fā)掘……
如果說過去以手機延展出的場景,只是數(shù)以百計的垂直軟件生態(tài);那么來到新型計算時代,則是帶來數(shù)以百計的橫向產(chǎn)業(yè)拓展,進而帶來數(shù)以千計、數(shù)以萬計的開發(fā)者生態(tài)與企業(yè)機遇。
而這背后正是AI這一底層技術驅動,所引發(fā)的由點到線及面的冪集創(chuàng)新。
包括前面幾期提到的汽車、物聯(lián)網(wǎng)等場景,未來整個移動計算體系所承載著的,還有更為深遠的人機交互變革。
縱覽整個機器革命,每一次人機交互的革新,都給人類生活方式帶來了巨大的改變。
以時間為軸,如今移動計算平臺的革新,不正是當下正在發(fā)生的人機交互革命?
以傳統(tǒng)PC為首的人機交互1.0,半導體技術飛躍進步推動個人計算機時代的到來。而像鼠標、鍵盤以及圖形用戶界面的發(fā)明,更是讓計算機飛入尋常百姓家,即便那個家庭沒有受到過專業(yè)訓練。
當前,以智能手機為首的人機交互2.0,移動計算平臺已經(jīng)開始占據(jù)主導地位。
2007年前后以iPhone和各品牌安卓終端為主的觸屏交互逐漸成為移動時代下的主流。人們用手指替代鍵盤,更多生活相關的應用,只需一部手機就可以搞定。因為其便攜性,人人都可以擁有屬于自己的人機交互設備。
而在可預見的未來,在5G和AI技術驅動下,由XR硬件等新型移動計算平臺引領的人機交互3.0,更讓隨時隨地交互成為可能,就像那個AR隱形眼鏡,只需一睜開眼就能接收信息,動動嘴就能處理信息,一旦規(guī)模化普及開來,就是人機交互新時代的開始,如今只剩下最后的100米,要靠底層能力驅動。
在人機交互3.0時代,一些舊有的移動計算形態(tài)也在AI和5G連接等驅動下,帶來新的價值創(chuàng)新,如更智能、便捷的新型移動PC體驗。
但交互方式等體驗上的改變僅僅是表象,技術的普及普惠,才是移動計算革新帶來的根本上的深遠影響。
從過去每個家庭擁有一臺PC,到每個人都擁有一臺智能手機,人機交互發(fā)生了巨大的變革;而在不遠的未來,每個人將都可以隨時隨地開啟各種全新形式的人機交互體驗。當AI、5G等技術更加深入影響到我們每個個體當中,我們也可以如科幻電影主角那般,以更為多元的方式感知世界。
這從某種程度上也印證了,任何顛覆性的改變,不僅僅只有像高通這種位于AI、5G等基礎技術頂端的賦能型企業(yè)能夠感受到。其實,我們每個人都身處浪潮之中,能夠親身感受和丈量新的時代機遇,成為冪集創(chuàng)新的一份子。