基于OpenHarmony的智能音響
想了解更多關(guān)于開源的內(nèi)容，請(qǐng)?jiān)L問：
1、項(xiàng)目背景
進(jìn)入。音箱是現(xiàn)代家居生活中為人們提供聽覺享受的產(chǎn)品，其作為音響系統(tǒng)的最終端，承擔(dān)著將電波信號(hào)轉(zhuǎn)化為聲能量，并傳播到空氣中的作用。音箱的種類有很多，針對(duì)不同的使用場景、用戶群，有不同的表現(xiàn)形式。以人為本的現(xiàn)代設(shè)計(jì)理念推動(dòng)著設(shè)計(jì)的發(fā)展，在產(chǎn)品設(shè)計(jì)領(lǐng)域，以人為本不僅體現(xiàn)在產(chǎn)品的形式上，產(chǎn)品的服務(wù)形式也應(yīng)該是契合人的本性、對(duì)用戶友好的。這一述求隨著科技的發(fā)展，逐漸與人們的預(yù)期相符合。所謂的“智能”，指的是個(gè)體認(rèn)識(shí)客觀物體和運(yùn)用知識(shí)解決問題的能力。機(jī)器不同于人類能夠獨(dú)立思考，它的行為模式是依附于程序而進(jìn)行的，當(dāng)一個(gè)機(jī)器能夠在某個(gè)程序的指導(dǎo)下，獨(dú)立進(jìn)行操作或運(yùn)算，我們便稱之為智能設(shè)備。智能音箱就是在傳統(tǒng)音箱的基礎(chǔ)上結(jié)合通信技術(shù)、傳感技術(shù)或其他互聯(lián)網(wǎng)技術(shù)，使之在擴(kuò)音的基礎(chǔ)功能之上，擁有更多新的、符合現(xiàn)代生活場景的功能, 隨著科學(xué)技術(shù)的不斷進(jìn)步，人們所追求東西也越來越多。
智能音箱系統(tǒng)是以智能音箱設(shè)備為核心，結(jié)合手機(jī)端、語音識(shí)別系統(tǒng)和手勢識(shí)別系統(tǒng)協(xié)同工作，可提供中繼WiFi的同時(shí)滿足家庭用戶的日常音頻服務(wù)需求，個(gè)性化地為用戶提供了語音識(shí)別功能，本次設(shè)計(jì)的是以家居場景下的智能音箱產(chǎn)品，首先對(duì)其硬件平臺(tái)進(jìn)行設(shè)計(jì)，其次對(duì)音頻系統(tǒng)和功能軟件部分進(jìn)行詳細(xì)設(shè)計(jì)，然后對(duì)智能音箱系統(tǒng)的語音識(shí)別系統(tǒng)和設(shè)計(jì)與優(yōu)化并初步實(shí)現(xiàn)語音識(shí)別功能，從而打造一款經(jīng)濟(jì)、實(shí)用、智能的便攜式音箱系統(tǒng)。
2、項(xiàng)目簡介
（1）項(xiàng)目描述
此項(xiàng)目基于 OpenHarmony 操作系統(tǒng)——我國自主研究、國產(chǎn)可控的芯片RK2206 搭載的一個(gè)全新的，獨(dú)立的首個(gè)完全開源的操作系統(tǒng)。該項(xiàng)目也是智能音箱領(lǐng)域適配的一個(gè)嘗試，通過藍(lán)牙連接、語音識(shí)別、手勢識(shí)別三種方式控制設(shè)備，小凌派內(nèi)置WiFi連接網(wǎng)絡(luò)顯示實(shí)時(shí)時(shí)鐘和當(dāng)?shù)靥鞖?。?shí)現(xiàn)了人機(jī)交互化、系統(tǒng)化、實(shí)時(shí)化。
（2）功能說明
在系統(tǒng)整體設(shè)計(jì)架構(gòu)中，利用小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實(shí)時(shí)時(shí)間和當(dāng)?shù)貙?shí)時(shí)天氣情況。
在人工智能音箱交互的過程中，主要是使用耳和嘴兩個(gè)信息通道，即聽和說，語音識(shí)別的過程要經(jīng)過三個(gè)階段:發(fā)音、傳遞和感知，分別對(duì)應(yīng)于生理、物理和心理三個(gè)方面，也就是說，僅僅是識(shí)別理解語音還不夠，還需要根據(jù)所處的語境，以即時(shí)、正確、合乎常規(guī)的自然語言表達(dá)方式回復(fù)用戶。此項(xiàng)目支持藍(lán)牙和WiFi進(jìn)行音樂播放，在此基礎(chǔ)上，我們的設(shè)計(jì)加入了手勢識(shí)別， 利用不同手勢改變音樂播放狀態(tài)。
（3）系統(tǒng)功能模塊劃分
項(xiàng)目是基于我國自主創(chuàng)新研發(fā)的國產(chǎn)可控芯片RK2206搭載OpenHarmony操作系統(tǒng)上運(yùn)行的，OpenHarmony作為新推出的熱點(diǎn)，它在傳統(tǒng)的單設(shè)備系統(tǒng)能力的基礎(chǔ)上，創(chuàng)造性地提出了一套系統(tǒng)能力適配終端形態(tài)的理念，并且支持在終端設(shè)備上運(yùn)行。小凌派內(nèi)置WiFi模塊連接網(wǎng)絡(luò)，在搭載OpenHarmony操作系統(tǒng)的小凌派LCD顯示屏上顯示實(shí)時(shí)時(shí)間和當(dāng)?shù)貙?shí)時(shí)天氣情況。本系統(tǒng)中，由語音識(shí)別和手勢識(shí)別實(shí)現(xiàn)人機(jī)交互，當(dāng)語音識(shí)別模塊聽到喚醒詞（小智小智）后回應(yīng)，再說上一首/下一首進(jìn)行切歌，或者播放/暫停，小凌派屏幕上會(huì)顯示相應(yīng)的音樂播放狀態(tài)圖標(biāo)和提示語。
（4）項(xiàng)目展示
圖2.1 智能音箱設(shè)計(jì)實(shí)物正面圖
圖2.2 智能音箱設(shè)計(jì)實(shí)物側(cè)面圖
圖2.3 智能音箱設(shè)計(jì)實(shí)際操作圖
3、硬件設(shè)計(jì)
（1）硬件總體框架
圖3.1 硬件總體框圖
（2）主控芯片
圖3.2 小凌派
采用小凌派RK2206 OpenHarmony開發(fā)板，主控為瑞芯微RK2206芯片，200MHz主頻，RAM 256KB、ROM16KB、PSRAM 8M、FLASH 8M。板載NFC Tag芯片及天線，可實(shí)現(xiàn)OpenHarmony“碰一碰”功能。支持 IEEE 802.11b/g/n 制式，AP 模式。USB 2.0 、SDcard /SPI/I2C 接口、麥克風(fēng)接口、E53 接口（包含 UART、 I2C、ADC、DAC、PWM、5 個(gè) GPIO）。一根TypeC USB線，即可實(shí)現(xiàn)供電、下載等功能。一根TypeC USB線，可支持串口調(diào)試功能。
（3）語音識(shí)別模塊
語音識(shí)別模塊采用LD3320，支持3.3V/5V供電，通信協(xié)議采用串口通信。
圖3.3 語音識(shí)別模塊
（4）語音播報(bào)模塊
語音播報(bào)模塊采用SNY6288，支持3.3V供電，通信協(xié)議采用串口通信。
圖3.4 SNY6288
（5）功率放大模塊
TPA3116D2雙聲道立體聲大功率數(shù)字低音炮功放板 ，支持2x50W功率。
圖3.5 功率放大模塊
（6）手勢識(shí)別模塊
小凌派鴻蒙開發(fā)板智能手勢擴(kuò)展板E53模塊PAJ7620U2手勢識(shí)別傳感器。
圖3.6 手勢識(shí)別模塊
（7）音頻藍(lán)牙模塊
使用藍(lán)牙3.0模塊，SPP透傳。
圖3.7 藍(lán)牙模塊
（8）TFT顯示屏
1.8寸彩色TFT顯示屏，高清IPS LCD液晶屏模塊，分辨率128*160，SPI接口。
圖3.8 TFT液晶屏
4、軟件方案
智能音箱設(shè)計(jì)軟件部分使用的是C語言，整體代碼整合屏幕化顯示代碼、WiFi連接代碼、語言識(shí)別代碼、手勢識(shí)別代碼等部分。
設(shè)計(jì)采用的小凌派芯片RK2206開發(fā)板采用Lite os-M 內(nèi)核、自帶WiFi模塊，SDK也提供了相應(yīng)的驅(qū)動(dòng)，初始化配置WiFi，連接到目標(biāo)網(wǎng)絡(luò),通過內(nèi)部串口將WiFi的ID密.碼、時(shí)間和天氣API網(wǎng)站IP與鏈接地址傳入內(nèi)置WiFi模塊。WiFi聯(lián)網(wǎng)成功后利用TCP協(xié)議向網(wǎng)站發(fā)送get信息，網(wǎng)站收到get請(qǐng)求后回傳帶有時(shí)間和天氣信息的json格式報(bào)文，報(bào)文送進(jìn)小凌派芯片RK2206經(jīng)由CJSON庫處理為標(biāo)準(zhǔn)格式后，最終顯示在LCD屏幕上。
而通過I2C通信協(xié)議，傳感器感受手勢，主控板讀取PAJ7620U2的手勢寄存器中的手勢，相應(yīng)對(duì)應(yīng)的接口層，引腳輸出對(duì)應(yīng)高低電平完成歌曲切換、暫停等操作。
圖4.1 程序總框圖
圖4.2 主流程圖
（1）WiFi連接設(shè)計(jì)
智能音箱獲取連接WiFi部分代碼：
圖4.3 WiFi模塊流程圖
（2）時(shí)間天氣信息獲取設(shè)計(jì)
智能音箱通過協(xié)議發(fā)送數(shù)據(jù)給sercer，再接受來自server的信息，從而獲取時(shí)間以及天氣狀況信息。
時(shí)間信息獲取設(shè)計(jì)部分代碼:
天氣狀況信息獲取設(shè)計(jì)部分代碼：
（3）手勢識(shí)別設(shè)計(jì)
智能音箱手勢識(shí)別分別設(shè)置4種手勢進(jìn)行操作，并根據(jù)不同手勢執(zhí)行不同的操作。
圖4.4 手勢識(shí)別程序流程圖
5、項(xiàng)目總結(jié)和展望
本次設(shè)計(jì)從互聯(lián)網(wǎng)技術(shù)出發(fā)，以人工智能音箱為落腳點(diǎn)，設(shè)計(jì)一款緊跟都市生活節(jié)奏和技術(shù)環(huán)境的產(chǎn)品。該設(shè)計(jì)在一定程度上可以幫助用戶解放雙手，便利用戶生活，既不用手持智能設(shè)備也能對(duì)智能音箱進(jìn)行操作，有助于用戶提高生活質(zhì)量，享受數(shù)字時(shí)代帶來的紅利。能夠?yàn)槿藗兲峁?shí)時(shí)的天氣情況，顯示當(dāng)?shù)貢r(shí)間與日期，方便用戶日常生活；支持語音交互功能，相比人們常用的智能手機(jī)，智能音箱只需“動(dòng)嘴”，自然更加方便?；诨ヂ?lián)網(wǎng)技術(shù)，從用戶、人機(jī)交互及人機(jī)環(huán)境三個(gè)方面展開分析，以智能音箱為代表的人機(jī)交互模式為我們展現(xiàn)了智媒發(fā)展的一個(gè)新的方向：從人與人的交流到人與物、再到物與物，最終實(shí)現(xiàn)真正的萬物互聯(lián)。如何更好利用智能媒體的優(yōu)勢，同時(shí)規(guī)制與引導(dǎo)智能媒體的發(fā)展，正是有關(guān)智能音箱、人工智能技術(shù)研究背后傳播問題演進(jìn)與開拓的新的場域所在。
