智能車的「ChatGPT時刻」,還有多遠?
要說今年“科技春晚”CES上最吸引眼球的是什么,智能車當屬其一。
畢竟大模型一上車,智能座艙都卷成醬嬸了:
讓車上的數(shù)字助手幫忙記錄約飯日程,Ta能直接幫你把餐廳也給預(yù)定了。
△驍龍座艙平臺效果展示
規(guī)劃路線這種事兒也變得充滿巧思,數(shù)字助手會根據(jù)你的習(xí)慣,主動問你:“路上買杯咖啡不?”
△驍龍座艙平臺效果展示
智能車上下游廠商紛紛秀出肌肉,也難怪不少前線參展的胖友們感嘆:CES能當車展逛了。
事實上,隨著大模型落地應(yīng)用的重點從云側(cè)走向端側(cè),不僅是手機廠商紛紛卷起端側(cè)大模型,大模型上車也已成為關(guān)注焦點之一:
智能車是現(xiàn)今最重要的智能移動終端之一,而大模型被認為是AI規(guī)?;瘧?yīng)用的關(guān)鍵。
不止是基于大模型、生成式AI能力構(gòu)建智能座艙,由特斯拉而引起熱議的端到端自動駕駛方案,背后也正代表著通過大模型串聯(lián)感知、預(yù)測、規(guī)劃所有模塊的全新技術(shù)趨勢。
也就是說,在大模型重構(gòu)一切掀起的“模力時代”中,從智能座艙到自動駕駛,“汽車機器人”的真正實現(xiàn),正在全方位圍繞大模型展開。
那么,問題來了——
智能車真的需要大模型嗎?
前文已經(jīng)說到,大模型上車的兩種最受關(guān)注的趨勢,其一圍繞自動駕駛,其二聚焦智能座艙。
自動駕駛方面,隨著CVPR 2023最佳論文頒給自動駕駛大模型,一種行業(yè)共識浮出水面:
端到端自動駕駛是行業(yè)的未來,而新的突破將以大模型技術(shù)為基礎(chǔ)。
△CVPR 2023最佳論文
有別于傳統(tǒng)上更多基于規(guī)則的自動駕駛算法,端到端模型能夠直接基于傳感器輸入(如攝像頭數(shù)據(jù)),學(xué)習(xí)如何控制輸出,無需人為設(shè)計復(fù)雜的中間表示。
舉個例子,在端到端自動駕駛方案中,想要讓模型學(xué)會不闖紅燈,無需設(shè)計規(guī)則,只要多用高質(zhì)量的交通信號燈視頻訓(xùn)練它就行。
這也就意味著,端到端模型能夠更好地處理復(fù)雜的交通場景:相比于對手寫規(guī)則的依賴,此類模型可以針對實際場景進行推理,更能夠解決corner case帶來的應(yīng)用落地問題。
量子位智庫在《2023年度十大前沿科技趨勢報告》中指出,端到端自動駕駛技術(shù)以全部模塊神經(jīng)網(wǎng)絡(luò)化為特征,對規(guī)則的依賴度低,具備智能涌現(xiàn)能力和跨場景應(yīng)用潛力。
而在CVPR 2023最佳論文《Planning-oriented Autonomous Driving》中,研究人員通過實驗證明,骨干網(wǎng)絡(luò)的增大能夠帶來感知分數(shù)的提升,這可能進一步改善模型的預(yù)測和規(guī)劃性能。
也就是說,更大的模型能夠提供更豐富的特征表示和更復(fù)雜的任務(wù)處理能力,能夠更好地支持自動駕駛場景中復(fù)雜的數(shù)據(jù)處理和決策制定。
如果說大模型驅(qū)動的自動駕駛還是探索進行時,生成式AI與智能座艙的結(jié)合,則已經(jīng)更快一步有了具體落地案例。
在今年的CES上就可見一斑。
比如吉利銀河E8,就已大模型上車,實現(xiàn)了車上的影音娛樂和AI交互的個性化:基于文生圖大模型,秒級生成私人定制款專屬壁紙、精準推薦音樂還能基于音樂意境生成風格化壁紙、AI數(shù)字精靈具備“人設(shè)”更加擬人……
高通的驍龍數(shù)字底盤概念車,更直觀展現(xiàn)出了邊緣側(cè)生成式AI的高效用例。
比如儀表盤上出現(xiàn)了一個警示燈,不必研究用戶手冊,直接向數(shù)字助手提問就能立刻得到答案。AI甚至還能幫助你當場預(yù)約維修。
△youtube@HotHardware
關(guān)鍵是,部署在車端的大模型,即終端側(cè)AI的模式,在結(jié)合本地數(shù)據(jù)提供更加個性化的座艙服務(wù)的同時,能夠保護用戶數(shù)據(jù)“足不出車”。這既保障了用戶的隱私安全,也緩解了云端處理帶來的時延問題。
另外,對端側(cè)算力的充分利用也能大大緩解用戶規(guī)?;鲩L給云端算力帶來的成本壓力。
不難看出,對于自動駕駛領(lǐng)域而言,大模型的技術(shù)浪潮,帶來了突破當前技術(shù)瓶頸的新路徑。因此也不乏業(yè)內(nèi)人士給出這樣的判斷:真正要在通用場景下實現(xiàn)L4、L5級自動駕駛,大模型不可或缺。
值得關(guān)注的是,盡管云側(cè)基礎(chǔ)大模型及其應(yīng)用一年來進展飛速,但大模型上車,仍然存在不小的挑戰(zhàn)。
其一,是數(shù)據(jù)問題。相比于互聯(lián)網(wǎng)的海量數(shù)據(jù),自動駕駛領(lǐng)域本身數(shù)據(jù)量要小得多,并且對于訓(xùn)練端到端模型而言,來自優(yōu)秀人類駕駛員的高質(zhì)量數(shù)據(jù)更為關(guān)鍵。
其二,是算力問題。無論是智能駕駛中的路況實時推理,還是智能座艙中的用戶意圖理解和功能調(diào)度,都對端側(cè)算力有著更高的需求。
其三,還有安全性問題。這一方面涉及到端到端自動駕駛模型的可解釋性,另一方面,是端云結(jié)合過程中,如何確保用戶隱私數(shù)據(jù)不泄露的問題。
而從硬件的視角來看,這些問題,實際上都對車載芯片提出了更高的要求。
「模力時代」,智能車需要什么樣的車芯?
如果說驍龍8155(第三代旗艦級驍龍座艙平臺)在過去幾年中已經(jīng)成為座艙是否智能的事實衡量標準之一,那么,在CES“車展”上頻頻出現(xiàn)的另一個關(guān)鍵詞,已經(jīng)透露出“模力時代”智能車新的競逐方向——
驍龍8295(第四代至尊級驍龍座艙平臺)。
從國產(chǎn)造車新勢力,到奔馳寶馬,CES上亮相的最新量產(chǎn)車上,驍龍8295已經(jīng)成為新的標配。
在大模型上車的最新趨勢里,車芯最新的進化方向是什么樣的,不妨就以驍龍8295為例,具體拆解來看。
驍龍8295采用5nm工藝制程打造。算力方面,其CPU算力達到230K DMIPS,是驍龍8155的8倍;GPU則可實現(xiàn)每秒2.9萬億次單精度浮點運算(2.9TFLOPS)或每秒5.8萬次半精度浮點運算(5.8TFLOPS),相較于8155,整體性能提升2倍,3D渲染性能提升3倍,能同時帶動車內(nèi)11塊屏幕,遠超市面上其他車機芯片。
更關(guān)鍵的是,驍龍8295搭載雙核NPU,AI算力從8155的4TOPS直接躍升至30TOPS。
這樣的參數(shù)性能,放在車規(guī)級芯片上,可以說是一騎絕塵。而反映到功能上,大模型、多模態(tài)交互、離線語音,甚至是艙泊一體、駕艙一體,都有了實現(xiàn)的基礎(chǔ)。
以搭載了驍龍8295的極越01為例,云端的語音識別算法模型直接放在車端,實時響應(yīng)時間能從1.5秒縮短到700毫秒。
除了常規(guī)自主泊車,還能在車外語音控制車輛實現(xiàn)自主泊車。
車內(nèi),在驍龍8295的支持下,極越01能實現(xiàn)對不同說話人的識別,也就是支持多人同時語音功能。配合離線語音庫,即使沒有網(wǎng)絡(luò)連接,也能實現(xiàn)全功能語音識別。
并且車內(nèi)的智能交互,現(xiàn)在也不僅僅停留在語音層面,配合眼神、動作的多模態(tài)交互,現(xiàn)在也可以在車上實現(xiàn)。比如,想要打開車上的某一扇窗戶,不用詳細說明,只要一句“打開窗戶”再配合視線,車上AI就能秒懂車主心意。
值得一提的是,驍龍8295作為可擴展自動駕駛SoC平臺,擁有廣泛的軟件生態(tài)系統(tǒng),包括視覺感知、泊車和駕駛員檢測軟件棧等等。
對于車企而言,這意味著在驍龍座艙平臺的基礎(chǔ)上整“花活”更加方便快捷。
而站在消費者的角度,座艙內(nèi)智能化體驗的升級,以上所述也僅僅是個開始。
終端側(cè)AI是AI規(guī)模化關(guān)鍵
大模型帶來的變革,核心是人機交互方式的變革。
而智能車作為被給予厚望的“智能空間”,自然而然成為這場重構(gòu)一切的技術(shù)變革風暴中不容忽視的一環(huán)。
智能車的“ChatGPT時刻”具體何時會到來,還沒有人能夠準確地預(yù)判。但至少在軟硬件準備上,以高通為代表的玩家,已經(jīng)率先一步做好了迎接爆發(fā)的準備。
事實上,這種逐漸聚焦到終端的對新“ChatGPT時刻”的期待,在2024年開端的這場CES上,可以說是無處不在。智能車備受矚目,但遠非全部。
從爆火的AI掌機Rabbit R1,到AI PC,再到AR/VR和具身智能機器人,AI與終端的結(jié)合,幾乎已經(jīng)蔓延到CES會場的每一個角落。
“模力時代”新一階段的變革走向,也在其中越發(fā)顯現(xiàn):大模型/生成式AI技術(shù)落地到端側(cè),是新一輪AI機遇爆發(fā)的關(guān)鍵。
對此,高通公司總裁兼CEO安蒙在CES主題演講中談到:
生成式AI的發(fā)展,正在從第一階段走向第二階段。當前,整個行業(yè)已經(jīng)將生成式AI在處理器中落地,下一步將是使用場景和應(yīng)用的開發(fā)。
歸結(jié)原因,核心其實是,數(shù)據(jù)在哪里,AI推理就應(yīng)該在哪里進行。
一方面,云計算推理成本正隨著大模型應(yīng)用用戶數(shù)量的增加和模型參數(shù)規(guī)模的增大而急劇增加,需要充分利用端側(cè)算力來平衡成本。另一方面,只有當終端就能運行AI大模型用例時,個人數(shù)據(jù)才能在受到保護的前提下被充分運用,實現(xiàn)真正個性化的大模型應(yīng)用。
總而言之,2024年一開年,“模力時代”終端變革的一角,已經(jīng)進一步向大眾揭開。
可以預(yù)見的是,變革的風暴不會就此停滯,更多的智能變化,或許就將在這一年中,通過智能終端,離你我的生活更進一步。