谷歌致力于讓每個(gè)人能平等地

享受科技帶來(lái)的便利

一起深入 2024 Google 開(kāi)發(fā)者大會(huì)

了解谷歌如何通過(guò) AI 技術(shù)支持公益事業(yè)

打造讓人人受益的社會(huì)公益方案

共創(chuàng)包容未來(lái)

普惠設(shè)計(jì)是無(wú)障礙設(shè)計(jì)的核心思想，旨在消除障礙，讓每個(gè)人都能平等地使用產(chǎn)品和服務(wù)。在中國(guó)，多元社群使用谷歌技術(shù)研發(fā)社會(huì)公益項(xiàng)目，包括用谷歌 AI 技術(shù)構(gòu)建的慧眼識(shí)教、智引線、手語(yǔ)村、聽(tīng)語(yǔ)精靈、Galaxy Explorer 等項(xiàng)目，為有障人群打造更加平等的生活和學(xué)習(xí)環(huán)境。

對(duì)視障兒童來(lái)說(shuō)，看清世界十分困難，但這并不能阻止他們探索世界。Google 公益的志愿者洞察到這點(diǎn)后，協(xié)助愛(ài)百福公益基金會(huì)落地慧眼識(shí)教項(xiàng)目，利用 Google Cloud、MediaPipe 圖像分割、Google Cloud Vertex Al 中的 Gemini 1.5 Flash 生成視頻腳本和 Imagen 2 圖片編輯，以及 Text-to-speech 等多個(gè) Google AI 技術(shù)協(xié)作，高效生產(chǎn)了主題豐富、圖文并茂、帶有聲音講解、適合視障兒童們學(xué)習(xí)的視頻，幫助老師們提升教學(xué)效果。

愛(ài)百福的老師們透露，他們計(jì)劃將慧眼識(shí)教產(chǎn)品分享給來(lái)自印度、菲律賓、馬來(lái)西亞的多家機(jī)構(gòu)，以幫助全球更多的視障兒童。

慧眼識(shí)教

為了幫助視障人士自由跑步，上海有人公益基金會(huì)與谷歌公益志愿者在谷歌開(kāi)源項(xiàng)目 Project Guideline 的基礎(chǔ)上，積極探索了更適合中國(guó)視障人士的無(wú)障礙解決方案：智引線。智引線結(jié)合了 TensorFlow 的深度視覺(jué)學(xué)習(xí)模型，利用手機(jī)攝像頭捕捉并分割引導(dǎo)線，創(chuàng)建實(shí)時(shí)更新的虛擬地圖為跑者引路，并通過(guò)耳機(jī)用空間音頻技術(shù)為跑者糾正路線，使視障跑者得以享受獨(dú)立跑步的樂(lè)趣。

智引線

有這樣一群人，他們的第一語(yǔ)言是中國(guó)手語(yǔ)，但是他們卻經(jīng)常身處口語(yǔ)環(huán)境中交流，面臨巨大的溝通障礙。為了讓他們能夠自由地與他人交流，北京聯(lián)合大學(xué)基于 Google Project Shuwa 開(kāi)源項(xiàng)目構(gòu)建了手語(yǔ)村（中國(guó)手語(yǔ)版）網(wǎng)站。這個(gè)項(xiàng)目全部由聽(tīng)障開(kāi)發(fā)者獨(dú)立開(kāi)發(fā)，借助 MediaPipe Holistic 模型和 TensorFlow 框架等技術(shù)，能夠?qū)崟r(shí)識(shí)別和分析身體語(yǔ)言、面部表情和手語(yǔ)動(dòng)作，使用機(jī)器學(xué)習(xí)模型來(lái)識(shí)別和預(yù)測(cè)手語(yǔ)的含義，并提供學(xué)習(xí)反饋，幫助學(xué)習(xí)者更快掌握正確的手語(yǔ)表達(dá)。同時(shí)結(jié)合虛擬旅游體驗(yàn)，學(xué)習(xí)者可以通過(guò)游戲化的方式了解聽(tīng)障群體，促進(jìn)無(wú)障礙溝通和理解。

手語(yǔ)村

調(diào)查顯示，聽(tīng)力障礙會(huì)影響到兒童語(yǔ)言能力的發(fā)展，妨礙其正常學(xué)習(xí)和生活，即使通過(guò)助聽(tīng)設(shè)備重建聽(tīng)力也不意味著他們能夠很好地和世界溝通。為了給聽(tīng)障兒童提供陪伴式口語(yǔ)訓(xùn)練，福州大學(xué)與廈門(mén)大學(xué)的開(kāi)發(fā)者們?cè)诠雀柚袊?guó)教育合作項(xiàng)目的資助和支持下開(kāi)發(fā)了聽(tīng)語(yǔ)精靈。這個(gè)項(xiàng)目包括“能說(shuō)會(huì)道”、“妙語(yǔ)連珠”和“對(duì)答如流”三個(gè)主要的功能模塊。

“能說(shuō)會(huì)道”基于谷歌 TensorFlow Hub 中的預(yù)訓(xùn)練模型，對(duì)圖像進(jìn)行目標(biāo)識(shí)別，獲取物品信息，再借助數(shù)字人技術(shù)生成帶有口型引導(dǎo)的聲音輸出，為孩子提供正確的發(fā)音指導(dǎo)。目前團(tuán)隊(duì)正在嘗試結(jié)合 Gemma 模型和 Text-to-speech 等技術(shù)完善其他模塊，進(jìn)一步為聽(tīng)障兒童提供互動(dòng)性和沉浸式的語(yǔ)言學(xué)習(xí)體驗(yàn)。

聽(tīng)語(yǔ)精靈

據(jù)統(tǒng)計(jì)，全球約有 7000 萬(wàn)人受到自閉癥的影響，每 160 名兒童中就有 1 人患病。幫助孩子們理解世界是干預(yù)和治療自閉癥的前提，但由于教師和資源有限，自閉癥兒童恢復(fù)社交并非易事。Galaxy Explorer 項(xiàng)目誕生于思否主辦、Google 作為內(nèi)容合作方的 “Innovate for Good” 善創(chuàng)未來(lái)黑客馬拉松，靈感源自于與自閉癥兒童的繪畫(huà)互動(dòng)。Spark Lab 團(tuán)隊(duì)洞察到自閉癥兒童能與繪畫(huà)產(chǎn)生深度鏈接，因此將 Google Cloud Vertex AI 提供的 Gemini 模型和 TEACCH 教學(xué)方法結(jié)合，利用 AI 生成多輪個(gè)性化故事卡片和視頻，連成完整故事；并通過(guò) Text-to-speech 為視頻配音，讓孩子們?cè)诨?dòng)中提高社會(huì)認(rèn)知和情緒表達(dá)能力。同時(shí) Galaxy Explorer 還提供數(shù)據(jù)化分析報(bào)告，幫助家長(zhǎng)們更好地理解和支持孩子的發(fā)展。

Galaxy Explorer

在谷歌，我們不止希望能夠幫助有障人群更好地生活，也致力于為所有用戶開(kāi)發(fā)更具包容性的產(chǎn)品。如 Pixel 手機(jī)的 Guided Frame-引導(dǎo)入鏡功能，通過(guò)震動(dòng)與語(yǔ)音提示的方式不僅能為視障或低視力人士提供拍攝指導(dǎo)，同樣也能幫助使用三腳架或后置鏡頭自拍、看不到屏幕的所有人；Project Relate 通過(guò)實(shí)時(shí)識(shí)別說(shuō)話者語(yǔ)音，使用標(biāo)準(zhǔn)語(yǔ)音重述，幫助語(yǔ)言障礙人士更輕松地與他人交流?！盀樗腥舜蛟旄玫漠a(chǎn)品體驗(yàn)”這一精神貫穿無(wú)障礙科技分享會(huì)和包容性設(shè)計(jì)工作坊始終。嘉賓們?cè)跓o(wú)障礙科技分享會(huì)中，結(jié)合實(shí)踐案例分享了如何通過(guò) Google 技術(shù)和用戶洞察開(kāi)發(fā)更具包容性的產(chǎn)品，以及如何助力中國(guó)開(kāi)發(fā)者進(jìn)行公益創(chuàng)新。在包容性設(shè)計(jì)工作坊中，嘉賓分享了無(wú)障礙設(shè)計(jì)的重要性，開(kāi)發(fā)者在導(dǎo)師組織和鼓勵(lì)下進(jìn)行了無(wú)障礙設(shè)計(jì)的嘗試。

現(xiàn)場(chǎng)精彩一覽

除了提供無(wú)障礙支持，助力開(kāi)發(fā)者開(kāi)發(fā)包容性產(chǎn)品，谷歌還與大學(xué)攜手，用谷歌技術(shù)為中國(guó)的區(qū)域環(huán)境保護(hù)和非遺文化傳承貢獻(xiàn)力量。

草場(chǎng)豐盛意味著牦牛能吃飽長(zhǎng)大，牧民有更好收入。但高原地區(qū)季節(jié)天氣多變，對(duì)牧草質(zhì)量和牦牛生長(zhǎng)帶來(lái)極大影響。西南民族大學(xué)通過(guò) Flutter 開(kāi)源跨平臺(tái)框架和 TensorFlow 技術(shù)，開(kāi)發(fā)了高原智牧助手，幫助紅原縣的育種專(zhuān)家高效管理數(shù)據(jù)。

該應(yīng)用不僅能收集分析牧草種子數(shù)據(jù)和檢測(cè)估算牦牛體重，還設(shè)計(jì)了放牧規(guī)劃模塊和草蓄平衡模塊，幫助牧民記錄草場(chǎng)情況。利用谷歌 ARCore 技術(shù)，牧民搭建虛擬草場(chǎng)，能夠更直觀地學(xué)習(xí)草蓄平衡知識(shí)，在提高科研效率同時(shí)，促進(jìn)了生態(tài)環(huán)境的可持續(xù)發(fā)展，助力高原牧民的幸福生活。

高原智牧助手

此外，Google 技術(shù)還為廣西非物質(zhì)文化遺產(chǎn)的保護(hù)和傳承貢獻(xiàn)力量。廣西民族大學(xué)利用 BERT 自然語(yǔ)言處理模型 和 TensorFlow 機(jī)器學(xué)習(xí)框架，基于時(shí)間空間關(guān)聯(lián)模型，搭建了一個(gè)多維度非遺文化體驗(yàn)平臺(tái)。這一創(chuàng)新平臺(tái)能幫助用戶探索非遺知識(shí)，根據(jù)時(shí)間節(jié)氣了解民俗與節(jié)日特色，甚至能以“傳唱非遺”的形式進(jìn)一步了解少數(shù)民族語(yǔ)言和歷史，助力傳統(tǒng)文化煥發(fā)新生。

谷歌堅(jiān)持以科技之力，幫助不同人群獲取生活便利和平等學(xué)習(xí)、工作機(jī)會(huì)，助力中華藝術(shù)文化傳承，攜手開(kāi)發(fā)者們共創(chuàng)美好、平等、包容的未來(lái)。

*部分 Google AI 技術(shù)適用于出海開(kāi)發(fā)者

2024 Google 開(kāi)發(fā)者大會(huì)

專(zhuān)題演講視頻持續(xù)更新中

掃碼直達(dá)官網(wǎng)

觀看精彩回放