汽車多模態(tài)交互研究:交互方式日漸多元化,多模態(tài)融合有待進一步加強
佐思汽研發(fā)布《2021年中國汽車多模態(tài)交互發(fā)展研究報告》,對主流汽車品牌交互方式進行了梳理總結(jié)。
目前在汽車人機交互方面,呈現(xiàn)兩大特點:
1、在交互方式上,除了觸控、按鍵、旋鈕等傳統(tǒng)交互外,語音、手機已成為汽車人機交互的必選項。除此之外,人臉、手勢、車燈也成為交互方式擴展的熱門選項,更有部分品牌開始嘗試眼部追蹤、聲紋、指紋等新型交互方式。
2、在品牌布局上,合資品牌在交互方式上相對保守,除語音、手機交互外,新型交互方式搭載較少,但豪華品牌成為多模態(tài)交互先鋒。例如奔馳在其最新一代MBUX系統(tǒng)上,配備了人臉、手勢、眼部、指紋多種新型交互。相比之下,自主頭部品牌在新型交互方式的應(yīng)用上更為積極,如長安汽車的視線喚醒、長城汽車的聲紋識別等。
國內(nèi)外主流汽車品牌部分人機交互方式如下(●量產(chǎn)車搭載 ○概念車搭載):
來源:佐思汽研《2021年中國汽車多模態(tài)交互發(fā)展研究報告》
語音作為常規(guī)交互方式之一,功能正在不斷完善
語音交互在原有性能之外,連續(xù)對話、音區(qū)鎖定、音色切換、語音自定義等特性已成為主流品牌的下一發(fā)展方向。
1、連續(xù)對話、音區(qū)鎖定已有多個品牌搭載。
具備連續(xù)對話的語音交互系統(tǒng)能夠在一次喚醒后,一定時間內(nèi)無需再進行喚醒,提高指令響應(yīng)的連貫性;音區(qū)鎖定則可以定位語音指令的發(fā)出者,在執(zhí)行“開窗”、“調(diào)節(jié)空調(diào)溫度”等指令時更加精準(zhǔn)。搭載這兩項功能的品牌主要有吉利、長安、長城、奇瑞、上汽榮威、廣汽傳祺、小鵬、蔚來、理想等。
吉利星越L--銀河OS的“主駕極客模式”支持主駕24小時免喚醒,具備四音區(qū)鎖定
小鵬汽車--語音助手小P,具備全場景語音功能,支持30秒連續(xù)對話、雙音區(qū)鎖定
2、音色切換指語音系統(tǒng)除了默認(rèn)語音聲音外,可提供其他聲音供用戶選擇,如明星、游戲人物的聲音等。搭載品牌有吉利、長安、長城、比亞迪、榮威以及新勢力品牌蔚來、小鵬、理想等。如,上汽榮威RX5搭載的斑馬智行維納斯系統(tǒng)可提供親和女聲、知性女聲、磁性男聲、稚嫩童聲、熱情女聲五種音色供選擇。
吉利星越L--銀河OS支持至多10種音色切換
3、語音自定義包括語音音色自定義和語音功能自定義。
“語音音色自定義”指用戶上傳自己或家人的聲音后,系統(tǒng)將該聲音應(yīng)用于語音響應(yīng)、導(dǎo)航播報等場景。搭載品牌有吉利、長城、上汽榮威、廣汽傳祺以及R汽車等。
“語音功能自定義”指用戶可自定義語音指令及該指令對應(yīng)的操作,可極大地提高語音系統(tǒng)的可玩性,滿足用戶的個性化需求。搭載的品牌有小鵬汽車。
吉利星越L--銀河OS 支持用戶定制個性語音,自定義的真人聲音可以全場景應(yīng)用,包括導(dǎo)航、應(yīng)答等。
小鵬汽車--小P私人定制,小鵬汽車的車主可通過手機APP自定義語音指令及對應(yīng)的操作
手勢繼語音、人臉之后,成為第三種新型交互方式
手勢交互主要通過車內(nèi)攝像頭來判斷手勢動作,并將數(shù)據(jù)傳遞給車載系統(tǒng)控制單元,由控制單元調(diào)出與識別出的手勢相對應(yīng)的功能。相較于語音控制,手勢控制操作更加精準(zhǔn)、快速,且更容易學(xué)習(xí)掌握。
搭載手勢交互的品牌有寶馬、奔馳、長安、長城、上汽榮威、廣汽傳祺、嵐圖、R汽車、北汽極狐、小鵬。其中長城、小鵬支持車外手勢識別。
WEY摩卡--支持在車外通過手勢控制車輛點火、前進、后退、暫停、熄火。
長安福特EVOS--全新一代SYNC+2.0支持手勢控制靜音、音樂播放、界面分屏以及返回主界面等操作。
車燈交互上車奔馳、高合、智己等品牌
車燈交互通過車燈閃爍動作、車燈投影、燈組顯示屏等方式向外界傳達信息,車燈交互為駕駛員與車外交通參與者的互動提供了渠道,在自動駕駛落地之際,車燈交互使自動駕駛汽車能夠與周圍環(huán)境進行通信。目前奔馳、奧迪、大眾、長城、比亞迪、高合、智己、小鵬等品牌搭載了該交互方式。
奔馳--投影大燈將警告標(biāo)識、標(biāo)記輔助等與駕駛輔助系統(tǒng)相關(guān)的信息投射在前方道路上。
智己L7--投影大燈可投射車語、導(dǎo)航、警示等交互信息,并且可結(jié)合高精地圖提供車道級的導(dǎo)航引導(dǎo);燈組顯示屏可提供多種圖案樣式,展示座艙內(nèi)用戶的狀態(tài);交互尾燈支持顯示文字、表情,如感謝、行人提醒、充電狀態(tài)等信息。
除了車燈燈組外,部分品牌嘗試在車身前后增加顯示屏來向行人傳遞信息,如北汽、三星等。
北汽Lite 300--在車輛前后配有LED顯示屏,可顯示文字、表情、動畫以及充電信息等內(nèi)容
多模態(tài)融合是下一發(fā)展方向
單一模態(tài)下的交互,對交互體驗的提升有上限。未來在提高交互體驗上,多模態(tài)融合是明顯可行且高效的選擇。目前在研的品牌有奔馳、寶馬、華為、長安等。
1、語音+視線
語音交互對包含“這個、那個”等模糊指代詞的識別能力幾乎為零,這種情況下若加入視線追蹤,由視線鎖定的方向,再通過語音發(fā)出指令,可極大提高指令的響應(yīng)率。
奔馳“MBUX Travel Knowledge”--駕駛員可通過視線鎖定一棟建筑物,并說:“我想知道這棟樓的用途”,即可獲取相關(guān)信息。該功能由Cerence Look提供技術(shù)支撐。
2、語音+唇動識別
在語音交互的過程中,對指令的準(zhǔn)確獲取是最關(guān)鍵的一步,而座艙復(fù)雜的環(huán)境、噪音和密集的人員增加了語音識別難度,近年新增的音區(qū)鎖定在一定程度上緩解了該難題。但受限于語音單模技術(shù)瓶頸,采用單一語音技術(shù)的交互對體驗的提升有限。
與唇動識別融合下的語音交互將極大提高語音識別性能,不同語言下的唇部動作不同,在嘈雜的座艙環(huán)境下,即使系統(tǒng)接收到聲音很小,結(jié)合唇部動作也可以保障較高的語音識別率。
北汽極狐搭載的華為鴻蒙OS唇動識別(在研階段)