Google 面館營(yíng)業(yè)啦!揭秘拉面背后的機(jī)器學(xué)習(xí)技術(shù)
代碼不止,活力不止!
谷歌面館正式“營(yíng)業(yè)”
想體驗(yàn)一把拉面大師的快感?
現(xiàn)在前往 2020 Google 開發(fā)者大會(huì)官網(wǎng)
馬上創(chuàng)建自己的“代碼拉面”!
來(lái)谷歌面館體驗(yàn)虛擬拉面
勞逸結(jié)合身心更健康
連續(xù)六天的谷歌開發(fā)者大會(huì)不僅帶來(lái)了滿滿的技術(shù)干貨,更鼓勵(lì)日夜與代碼奮戰(zhàn)的開發(fā)者們勞逸結(jié)合,在觀看演講的間隙也可以活動(dòng)放松,補(bǔ)充滿滿元?dú)狻?strong>運(yùn)用 TensorFlow.js 中的 PoseNet 來(lái)實(shí)現(xiàn)動(dòng)態(tài)捕捉,玩家只需要從網(wǎng)絡(luò)攝像頭和瀏覽器參與互動(dòng)即可輕松體驗(yàn)歡樂的”代碼拉面“。
來(lái)到谷歌面館到底怎么拉面?每局拉面限時(shí) 60 秒,玩家可以想象自己是拉面大師,通過(guò)活動(dòng)手和上半身的動(dòng)作配合來(lái)制作虛擬“面條”,比如盡可能地上下移動(dòng)拉扯面條,也可以加速甩動(dòng)表演酷炫拉面絕技。
在拉面過(guò)程中也要時(shí)刻心手配合收集特殊配料以獲得增加面條長(zhǎng)度的點(diǎn)數(shù),但也要小心如果接到“黑暗料理”則會(huì)縮短面條的長(zhǎng)度。得分越高就能解鎖更多“拉面英雄徽章”!是不是手癢癢等不及來(lái)谷歌面館“一決長(zhǎng)短”?使用電腦參與游戲體驗(yàn)更佳哦!
TensorFlow.js 實(shí)現(xiàn)動(dòng)態(tài)捕捉
創(chuàng)建 “代碼拉面”
谷歌面館正是基于 TensorFlow.js 中的 PoseNet 來(lái)實(shí)現(xiàn)動(dòng)態(tài)捕捉,將用戶的肢體動(dòng)作與“拉面”概念做結(jié)合,創(chuàng)造出有趣又好玩的互動(dòng)體驗(yàn)。
整個(gè)體驗(yàn)中最關(guān)鍵的是手部動(dòng)作的檢測(cè)。通過(guò)從 PoseNet 中選擇經(jīng)過(guò)預(yù)演的模型,并在裝置攝像頭實(shí)時(shí)進(jìn)行手部位置的估計(jì),TensorFlow.js 就可以在瀏覽器中運(yùn)行現(xiàn)有的機(jī)器學(xué)習(xí)模型,無(wú)需花太多精力即可實(shí)現(xiàn)手部動(dòng)作檢測(cè)。通過(guò)這一系列技術(shù)支持,玩家可以在游戲中移動(dòng)、拉伸、扭曲虛擬的面條。
谷歌面館中還使用了 Angular 構(gòu)建主體框架,為網(wǎng)站功能設(shè)置了強(qiáng)大的基礎(chǔ)架構(gòu),然后結(jié)合 TensorFlow.js 和 PoseNet 中豐富的模型庫(kù)來(lái)自動(dòng)檢測(cè)手勢(shì)和各種肢體動(dòng)作,直接從網(wǎng)絡(luò)攝像頭和瀏覽器擺姿勢(shì)創(chuàng)建真人的實(shí)時(shí)視覺建模。以及游戲渲染和物理引擎(如 Phaser )也用于幫助實(shí)現(xiàn)一根根面條在虛擬環(huán)境中呈現(xiàn)真實(shí)的物理狀態(tài)。
Angular
用于在 HTML 中構(gòu)建動(dòng)態(tài)和交互式應(yīng)用程序的現(xiàn)代 javascript 框架。它可以將網(wǎng)頁(yè)用作模板語(yǔ)言,并擴(kuò)展 HTML 的句法,清晰簡(jiǎn)潔地表達(dá)應(yīng)用程序的組件。
TensorFlow.js
一個(gè)使用 Javascript 和高級(jí) API 進(jìn)行機(jī)器學(xué)習(xí)的開源庫(kù)。如果您不熟悉機(jī)器學(xué)習(xí)技術(shù),那么這是一個(gè)很棒的初學(xué)者工具,可根據(jù)你的需求定義,運(yùn)行和訓(xùn)練模型。
PoseNet
一種視覺模型,用于通過(guò)標(biāo)記關(guān)鍵的身體位置來(lái)檢測(cè)和預(yù)估圖像或視頻中的單人或多人姿勢(shì)。該技術(shù)無(wú)法識(shí)別圖像中的人物,該算法只是檢測(cè)由“Part ID”索引的關(guān)鍵點(diǎn),置信度得分在 0.0 到 1.0 之間,其中 1.0 為最高。點(diǎn)擊了解動(dòng)作捕捉如何讓 SVG 角色在瀏覽器中栩栩如生!
谷歌面館的誕生只是一個(gè)開始,我們期待通過(guò)谷歌面館這一互動(dòng)體驗(yàn),激發(fā)更多開發(fā)者與 TensorFlow 開源代碼社區(qū)一起,用技術(shù)創(chuàng)造更多超乎想象的可能性,探索更非凡的交互體驗(yàn)。話不多說(shuō),一起點(diǎn)擊 2020 Google 開發(fā)者大會(huì)官網(wǎng)把面拉起來(lái)!