隨著互聯(lián)網(wǎng)特別是移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展人們?nèi)找古c電腦、手機(jī)為伴，“人-人互動(dòng)”逐漸減少，“人-機(jī)互動(dòng)”不斷增加，人們對(duì)人機(jī)交互技術(shù)提出了更高的要求，即情感需求。因?yàn)槿祟愔g的交流與溝通是自然而富有感情的，因此人們期望與之交互的機(jī)器也具有類似于人的觀察、理解和生成情感特征的能力。隨著情感計(jì)算(affective computing)等技術(shù)的不斷發(fā)展，情感交互成為高級(jí)信息時(shí)代人機(jī)交互的主要發(fā)展趨勢(shì)。(如圖所示)情感交互就是使人機(jī)交互可以像人與人交互一樣自然、親切、生動(dòng)和富有情感。

人與人進(jìn)行交流時(shí)，是通過人臉表情、語(yǔ)音情感、帶有感情的肢體動(dòng)作、文本情感信息等來(lái)感知對(duì)方的感情。因此情感交互可以從人臉表情交互、語(yǔ)音情感交互、肢體行為情感交互、生理信號(hào)情感識(shí)別、文本信息情感交互等方面進(jìn)行探索。另外人與人的交流可以通過表情、語(yǔ)音、眼神、手勢(shì)等方式進(jìn)行，而機(jī)器沒有人臉和軀體，那么仿生代理(lifelike agent)將是實(shí)現(xiàn)情感交互的重要媒介。

1 人臉表情交互

人臉表情交互是情感交互的一個(gè)重要方向，交互模型為：識(shí)別人臉表情既而感知人的情感和意圖，再生成與之對(duì)應(yīng)的表情與人進(jìn)行交互?，F(xiàn)在對(duì)于識(shí)別人臉表情既而感知人的情感和意圖的技術(shù)探究愈發(fā)活躍，目前已經(jīng)有諸多的人臉表情數(shù)據(jù)庫(kù)及表情特征提取技術(shù)供設(shè)計(jì)參照。人臉表情的自然生成也在向著智能化的方向發(fā)展，將通過社交環(huán)境、上下文語(yǔ)境的來(lái)智能生成。 

表情數(shù)據(jù)庫(kù)

表情特征提取

現(xiàn)階段人臉表情交互在移動(dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)用舉例：

1)“ twika^o^ ”

一款由Takuto Onishi開發(fā)的iOS應(yīng)用程序“twika^o^”，可以幫用戶把人物面部真實(shí)表情轉(zhuǎn)化成“kaomoji”，即文字符號(hào)表情。

打開應(yīng)用，用戶可以通過該應(yīng)用讀取自己或是朋友們的照片，或者干脆通過手機(jī)直接對(duì)著某人的臉咔嚓一張面部特寫照，接下來(lái)它就能實(shí)時(shí)轉(zhuǎn)化為有趣的顏文字表情。再通過電郵、推特或者信短信share給朋友們。

2)Avatar

卡梅隆用頂尖的CG和3D技術(shù)創(chuàng)造了天神下凡似的巨作《Avatar》，頓時(shí)紅遍全球，英特爾則緊跟時(shí)代潮流，與時(shí)俱進(jìn)，研究出“Avatar 人臉表情模擬”這一最新技術(shù)成果。當(dāng)用戶面對(duì)攝像頭的時(shí)候，可以看到用戶的真實(shí)頭像，通過Vedio算法，可以將人臉表情抽象化，呈現(xiàn)出一個(gè)虛擬的頭像，當(dāng)你緊皺眉頭的時(shí)候，你的虛擬頭像也在緊皺眉頭，當(dāng)你微笑的時(shí)候，她也在微笑，總之你的喜怒哀樂都可以在虛擬頭像上展現(xiàn)的淋漓盡致。這項(xiàng)技術(shù)對(duì)應(yīng)的情感交互比如視頻聊天的時(shí)候，某種時(shí)候不太想讓對(duì)方看到自己的真實(shí)長(zhǎng)相，可以通過這項(xiàng)技術(shù)，更好的保護(hù)隱私。聯(lián)想K800手機(jī)應(yīng)用了這項(xiàng)最新的Avatar技術(shù)。 

2 語(yǔ)音情感交互 yixieshi.com

語(yǔ)音中的情感信息可以影響人們的交流狀態(tài)。所謂“聽話聽音”，說話人利用不同情感表達(dá)某語(yǔ)句時(shí)，聽者可能會(huì)有不同的反應(yīng)。語(yǔ)音情感交互就是通過語(yǔ)音情感識(shí)別技術(shù)對(duì)人類的情感進(jìn)行獲取、識(shí)別和響應(yīng)，可以使用戶在自然和諧的交互模式下高效地完成任務(wù)。

語(yǔ)音情感交互的支撐技術(shù)是語(yǔ)音情感識(shí)別和情感語(yǔ)音合成。語(yǔ)音情感識(shí)別必須以一個(gè)高質(zhì)量的情感語(yǔ)音數(shù)據(jù)庫(kù)為基礎(chǔ)，獲取情感語(yǔ)料，進(jìn)行情感特征參數(shù)的提取。情感語(yǔ)音合成是情感計(jì)算與語(yǔ)音合成的交叉課題，目前也取得了一定的研究成果。

現(xiàn)階段語(yǔ)音情感交互在移動(dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)用：

1）  信息查詢類產(chǎn)品

通過語(yǔ)音輸入來(lái)查詢信息的產(chǎn)品如交通票務(wù)查詢、話費(fèi)查詢等，是語(yǔ)音情感交互應(yīng)用的重要領(lǐng)域。比如根據(jù)用戶查詢時(shí)的情感狀態(tài)來(lái)決策用戶服務(wù)的優(yōu)先級(jí)做出合適的反應(yīng)。比如，在票務(wù)查詢產(chǎn)品中，如果用戶的語(yǔ)氣非常著急，那么可以適當(dāng)?shù)奶崆盀槠浞?wù)。

2）  輔助教學(xué)類產(chǎn)品

一些朗讀類或者表達(dá)技巧類的學(xué)習(xí)產(chǎn)品中可以應(yīng)用語(yǔ)音情感交互。比如教幼兒說話類的產(chǎn)品可以教兒童如何講話，甚至可以教他們?nèi)绾伟言捴v的自然而富有感情。 

3）  電子商務(wù)產(chǎn)品

利用語(yǔ)音情感交互可以讓購(gòu)物網(wǎng)站摒棄繁瑣的用戶問卷調(diào)查，利用用戶語(yǔ)音輸入時(shí)的情感因素的提示自動(dòng)調(diào)整流量，甚至可以根據(jù)用戶對(duì)不同產(chǎn)品的喜好程度來(lái)調(diào)整商品的進(jìn)貨比例。

4）  社交、娛樂

目前大部分社交產(chǎn)品和娛樂游戲中的人機(jī)對(duì)話界面采用文本指令輸入的方式，這種方式所能傳遞的信息非常有限，而且操作費(fèi)時(shí)費(fèi)力。部分產(chǎn)品加入了語(yǔ)音輸入功能，但也是淡出的錄音傳話，無(wú)法判斷社交對(duì)象的情感。如果在這些產(chǎn)品的設(shè)計(jì)中應(yīng)用語(yǔ)音情感交互就能構(gòu)筑更加擬人化的風(fēng)格和更加逼真的場(chǎng)景，給用戶更全面的感官享受。

5）  虛擬人物對(duì)話

虛擬人物對(duì)話如siri等產(chǎn)品已經(jīng)開始嘗試，但尚未加入情感因素。由于大多數(shù)情況下是口語(yǔ)化的交流，因此虛擬的人物對(duì)話應(yīng)該根據(jù)用戶的情感狀態(tài)來(lái)調(diào)整產(chǎn)品本身的語(yǔ)音輸出，以適應(yīng)對(duì)話環(huán)境。

案例：

Emotion  電話本

根據(jù)分析通話人之間語(yǔ)音交流的情感信息，來(lái)智能將電話簿中的人進(jìn)行情感化分類：哪些是親密好友、哪些是較為疏遠(yuǎn)的關(guān)系。結(jié)合通話頻率可以分析出哪些親密的好友應(yīng)該聯(lián)絡(luò)了，可以發(fā)出提醒，提醒用戶注重對(duì)好友的聯(lián)絡(luò)。

3  肢體行為情感交互 互聯(lián)網(wǎng)的一些事

姿勢(shì)運(yùn)動(dòng)不僅可以由物理上的時(shí)間、空間、加速度等描述，還可以由屬于心理學(xué)范疇的維度描述。比如從手勢(shì)的撓頭、擦眼、捏鼻子、觸唇、托下巴等，能夠預(yù)測(cè)情感狀態(tài)包括思考、回憶、疲勞、滿意等。

肢體行為情感交互是重要的情感非語(yǔ)言交流方式，目前得到了越來(lái)越多的研究者的關(guān)注，并取得了一定的研究成果，但人的肢體行為在特征提取及情感分類方面仍面臨較大困難，需要結(jié)合上下文才能獲得較為準(zhǔn)確的識(shí)別結(jié)果，且移動(dòng)終端受本身硬件條件限制，肢體行為的提取本身就存在操作不便。因此目前應(yīng)用較少。

4 生理信號(hào)情感識(shí)別

生理變化由人的自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)支配，很少受人的主觀控制，因而應(yīng)用生理信號(hào)的情感識(shí)別更具客觀性。生理信號(hào)感知情感一般通過皮膚電反應(yīng)、肌電反應(yīng)、呼吸信號(hào)、心電信號(hào)等，需要借助物理設(shè)備。雖然生理信號(hào)可以客觀地反映人的情感狀態(tài)，但是僅對(duì)不同喚醒度的情感具有較好的識(shí)別效果，若要進(jìn)行多種情感的分類，則需要將生理信號(hào)同表情、語(yǔ)音等其他通道進(jìn)行融合，實(shí)現(xiàn)多模情感識(shí)別。

現(xiàn)階段生理信號(hào)情感識(shí)別在移動(dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)用案例：

Heart Fitness 

Heart Fitness利用iPhone背后的補(bǔ)光燈感應(yīng)皮下毛細(xì)血管的跳動(dòng)來(lái)測(cè)心率，同時(shí)也能感知用戶此時(shí)的情緒，非常有意思。 

5 文本信息中的情感

隨著互聯(lián)網(wǎng)的飛速發(fā)展，文本信息已經(jīng)成為人們最常用的交互方法之一。自然語(yǔ)言是人特有的交流手段，其中包含了大量的情感信息。研究文本中蘊(yùn)含的情感信息已成為人機(jī)交互領(lǐng)域的研究熱點(diǎn)。

文本情感分析研究可以分為詞語(yǔ)的情感分析、句子的情感分析、篇章的情感研究、海量信息的整體情感預(yù)測(cè)四個(gè)維度。 

現(xiàn)階段文本信息情感交互在移動(dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)用： 

1）  電子商務(wù)產(chǎn)品

通過文本信息情感提取，分析用戶在電子商務(wù)網(wǎng)站中針對(duì)產(chǎn)品、服務(wù)的反饋評(píng)論，向其他用戶推薦受到好評(píng)的產(chǎn)品、服務(wù)。同時(shí)可以幫助商家高效地利用用戶的反饋信息

2）  網(wǎng)絡(luò)搜索產(chǎn)品的個(gè)性化檢索

目前的搜索引擎對(duì)互聯(lián)網(wǎng)信息進(jìn)行檢索時(shí)，主要方式是查找與用戶提交的查詢主題詞相關(guān)的網(wǎng)頁(yè)，而在其中加入文本情感分類，則可以個(gè)性化展示根據(jù)網(wǎng)頁(yè)內(nèi)容褒貶性分類這個(gè)能力的搜索結(jié)果，提升用戶體驗(yàn)及搜索結(jié)果的信息價(jià)值。

3）  網(wǎng)絡(luò)社區(qū)或游戲產(chǎn)品的用戶興趣挖掘

根據(jù)網(wǎng)絡(luò)社區(qū)中的用戶言論，對(duì)個(gè)體的喜好進(jìn)行發(fā)掘，將有助于整個(gè)社會(huì)關(guān)系網(wǎng)絡(luò)的分析，具有潛在的應(yīng)用價(jià)值。

案例：

蘋果專利，文本消息過濾

這一專利功能可以用來(lái)過濾和控制所有基于文本的 iPhone 通信，比如發(fā)出或接收的短信、彩信、電子郵件和即時(shí)通訊等。它可以用來(lái)防止垃圾廣告，或者屏蔽那些你討厭的詞匯。也可以為未成年人創(chuàng)造相應(yīng)的網(wǎng)絡(luò)環(huán)境，比如父母可以選擇相應(yīng)的年齡模式，一屏蔽不同等級(jí)的詞匯。 

6 情感仿生代理

在情感交互中，用戶可以使用自然的交互方式，如語(yǔ)音、表情、眼神、手勢(shì)等與機(jī)器進(jìn)行交互。然而，機(jī)器沒有人臉和軀體，無(wú)法用上述方式交流。目前的解決辦法是通過仿生代理實(shí)現(xiàn)人機(jī)的情感交互。仿生代理是完全由計(jì)算生成的圖形，用來(lái)模擬現(xiàn)實(shí)世界中真實(shí)的人或其他有生命物體的行為和動(dòng)作。仿生代理具有人臉和軀體，并能通過多種交流方式與人進(jìn)行信息傳遞。在基于仿生代理的人機(jī)交互中，仿生代理被賦予情感能力。仿生代理能夠通過各種傳感器獲取由人的情感所引起的生理及行為特征信號(hào)，從而感知、識(shí)別和理解人類情感，針對(duì)人類的情感做出智能、靈敏、友好的反應(yīng)。 

現(xiàn)階段情感仿生代理在移動(dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)用案例： 

雙雙

是一款社交應(yīng)用，有一個(gè)非常獨(dú)特的全3D仿生代理”小雙”，幫助用戶實(shí)時(shí)溝通、傳情達(dá)意!“小雙”在蘋果appstore中是這樣被描述的：

擁有雙雙后，你會(huì)發(fā)現(xiàn)生活充滿了樂趣

“像木頭一樣的老公居然懂得浪漫和貼心了，常常有驚喜給我” 

·貼心提醒：起床、約會(huì)、記得想你…愛的提醒就用“鬧鬧”

·情緒傳遞：隨時(shí)喚出小雙，讓她把你的情緒表演給最親密的人

·偷偷問：不懂彼此的小心思?匿名打聽一下，然后給Ta驚喜

“工作都很忙，閨蜜之間都很少聯(lián)系，雙雙提醒我和她們定期保持聯(lián)絡(luò)，真好”

·變聲趣聊：在聊天時(shí)小雙能把你們的話變成有趣的聲音，各種賣萌，各種歡樂

·永久群組：姐妹淘、球隊(duì)哥們…在這里建立你和兄弟/閨蜜的小圈子，隨身攜帶

移動(dòng)設(shè)備填充了人們幾乎所有的生活時(shí)間，人們對(duì)于和移動(dòng)設(shè)備進(jìn)行情感交互的需求也與日俱增，情感交互必定成為移動(dòng)應(yīng)用產(chǎn)品交互趨勢(shì)之一。隨著人工智能、情感計(jì)算等技術(shù)領(lǐng)域的發(fā)展，情感交互的技術(shù)支撐也日趨完善，情感交互模型將更加多樣化，我們?cè)谝苿?dòng)應(yīng)用產(chǎn)品設(shè)計(jì)中應(yīng)該逐漸考慮情感因素的影響，設(shè)計(jì)情感交互，讓產(chǎn)品具有活動(dòng)靈魂。