TUP第十二期:移動開發(fā)沙龍 次世代人機交互接口及應(yīng)用開發(fā)
馬寧:如何開發(fā)一個有趣的Kinect應(yīng)用
作為有史以來銷量最快的電子設(shè)備,Kinect從2010年10月開始近用5個月時間,銷量就突破了1000萬部。馬寧以一個關(guān)于奧巴馬是否因為膚色的問題會導(dǎo)致Kinect識別率降低,而涉嫌種族歧視的笑話開場。當然,事實證明這個問題只是個笑話而已。馬寧以特有的詼諧幽默的演講方式,為我們介紹了Kinect是什么?有那些SDK?Kinet的發(fā)展歷史等。
馬寧在講關(guān)于奧巴馬的笑話
Kinect是一個XBox 360的外接體感設(shè)備,不需要任何道具就可以完成整個動作識別和捕捉。有兩個功能是它做的,一個是動作識別和動作捕捉,還有一個是3D立體語聲識別。Kinect最多可以支持4個人的識別,但是真正有效可視識別最多是兩個人,且兩個人的位置不能夠交叉。Kinect的好處是可以用低廉的成本就能夠完成動作識別和動作捕捉等技術(shù)。
Kinect SDK是由微軟研究院來做,支持C++,C#,和VB.NET。目前有兩個,一個針對Windows,另一個是針對微軟機器人開發(fā)組件,都是非商業(yè)授權(quán)許可,商業(yè)授權(quán)將在下一個版本中提供。建議使用在Windows 7下使用Visual Studio 2010 Express以上版本進行開發(fā)。
張彤:用大腦控制你的應(yīng)用——腦際接口技術(shù)的應(yīng)用與前景
BCI技術(shù),是一種腦際接口技術(shù)。是指用我們大腦和電腦、或者是計算機設(shè)備之間打開一條直接通路,因此可以作為控制、監(jiān)測、訓(xùn)練等方面的應(yīng)用。神念科技所使用技術(shù)是一種新型單芯片混合電路芯片技術(shù),不同于醫(yī)院等大型企業(yè)所采用的同類設(shè)備,做到將工業(yè)化設(shè)備帶入民用領(lǐng)域。只用一個單電傳導(dǎo)器,而不需要做任何導(dǎo)電膠的處理,或者在頭上做任何東西,只要簡單一個點就可以提取精度非常準的腦電數(shù)據(jù)。
神念科技的全球總部位于美國硅谷,其腦波傳感器在玩具,游戲,教育,健康和汽車等行業(yè)都得到廣泛的應(yīng)用。神念科技以60多年的醫(yī)學(xué)研究為基礎(chǔ),將腦電波(EEG)技術(shù)轉(zhuǎn)化并開發(fā)成適用于大眾市場的應(yīng)用,并使其更加易用和高效。 神念科技的開放接口支持Windows、iOS和Android三大平臺,SDK中同時包含免費包和收費包。張彤還透露,神念科技和應(yīng)用開發(fā)者之間的模式是二八分成,公司拿二合作者拿八。
張彤介紹BCI技術(shù)的原理
這個技術(shù)很神奇,隨著BCI技術(shù)的快速發(fā)展,應(yīng)用也日趨廣泛。張彤現(xiàn)場邀請觀眾上臺演示了一款叫做mindFlex的應(yīng)用,通過頭上特定的耳機,觀眾可以用意念來控制在容器中的小球上升下降的高度,意念越強小球上升越高。所有現(xiàn)場觀眾集體見證了奇跡發(fā)生的時刻,大家都為這個產(chǎn)品帶來的神奇體驗驚喜不已。
現(xiàn)場觀眾見證奇跡的時刻
最后張彤播放了一段視頻,一個女生戴著裝有BCI模塊的可愛貓耳朵,當她見到帥哥的時候,頭上的貓耳朵會感知到腦波變化,迅速的立起來,而當女孩心情低落的時候就會耷拉下來,引來現(xiàn)場陣陣歡笑聲。
中場休息期間現(xiàn)場觀眾圍觀見證奇跡的神物
江濤:語音輸入交互你的應(yīng)用——移動互聯(lián)網(wǎng)時代的語音云
訊飛語音的中英文核心技術(shù)國際領(lǐng)先,牽頭制定國家標準并擁有主流市場80%以上的市場份額;是中國語音產(chǎn)業(yè)唯一的國家規(guī)劃布局內(nèi)重點軟件企業(yè),并且是唯一的“語音上市公司”。江濤首先將語音技術(shù)目前的發(fā)展狀況進行了介紹,接著介紹了開放給合作伙伴的云語音平臺是什么狀態(tài),以及什么樣的合作模式。最后針對在場開發(fā)者,介紹了智能語音交互硬件開發(fā)接口。
江濤介紹科大訊飛的“語音云”以及開發(fā)SDK
現(xiàn)場演示中,訊飛語音在語音識別方面的正確率非常高,甚至可以根據(jù)句子的內(nèi)容自動添加標點符號。比如“去TUP嗎”程序就會在后面自動補上“?”。他們的語音合成技術(shù)也已經(jīng)非常成熟,通過一段對比視頻我們可以看到,即使是合成中央電視臺著名主持人的標準普通話波音,也幾乎可以達到以假亂真的效果。
訊飛語音提供兩類接口,一類是C風(fēng)格API接口,具備最廣泛的平臺覆蓋性,以及靈活性,這是比較底層的接口;另外為快速開發(fā)提供可視化接口,降低開發(fā)難度。目前支持的平臺有Android、iPhone和Symbian。
講到商務(wù)模式,江濤稱對初創(chuàng)期的創(chuàng)業(yè)公司全免費,包括免費獲得開發(fā)包和技術(shù)服務(wù)。在推廣階段,初創(chuàng)企業(yè)沒有掙到錢就不收錢,科大訊飛通過以下三種模式獲得回報:技術(shù)服務(wù)費,按使用量付費和合作分成。如果只有流量,資源互換也可以。
圓桌論壇主持人劉江 , 從左至右分別是江濤 、蔣濤、張彤、馬寧
接下來,CSDN &《程序員》創(chuàng)始人蔣濤和3位嘉賓一起,在圓桌論壇環(huán)節(jié)和在場觀眾進行了互動。
最后,CSDN &《程序員》總編劉江對本次TUP活動進行總結(jié):今天介紹都是相對比較前沿的技術(shù),需要突破固有的一些思維。以前很習(xí)慣的東西可能不對,需要改變?;貧w到自然狀態(tài),技術(shù)進步和應(yīng)用為了釋放更多人。