很瘋狂！彭博社消息，根據(jù)知情人士透露，蘋果公司計(jì)劃使用更先進(jìn)的人工智能對(duì)其Siri虛擬助手進(jìn)行全面改革！

Siri將不再局限于目前單一任務(wù)的執(zhí)行，而是可以允許用戶通過聲音交互控制每個(gè)應(yīng)用程序的單個(gè)功能。

看來，在隱私方面一向保守的蘋果，在數(shù)據(jù)安全與AI至上的天平中徘徊了許久，終于找到了平衡中的解決之道——新系統(tǒng)將首次允許Siri接管應(yīng)用程序內(nèi)的所有功能。

這一革命性的變化需要使用LLM來重新設(shè)計(jì)Siri的基礎(chǔ)——這是生成性AI背后的核心技術(shù)，他們表示，這將是蘋果在AI領(lǐng)域新推力的亮點(diǎn)之一。

未來，Siri不再只能幫用戶定個(gè)鬧鐘。而是可以做一系列連貫的任務(wù)。例如，要求Siri總結(jié)一個(gè)錄制的會(huì)議，然后將其作為文本發(fā)送給同事?；蛘遡Phone理論上可以被要求裁剪圖片，然后將其通過電子郵件發(fā)送給朋友?；蛘叽蜷_某個(gè)外賣APP幫用戶下單特定的食物作為午餐……

有網(wǎng)友興奮地表示，如果蘋果能做到的話，我覺得AGI就要來了——能在成千上萬的應(yīng)用中執(zhí)行日常的任務(wù)，怎么不算通用智能呢？

圖片

1.全球開發(fā)者大會(huì)公布“進(jìn)化版”Siri

Siri新系統(tǒng)將允許虛擬助手以更高的精確度控制和導(dǎo)航iPhone或iPad。

新的功能將讓iPhone成為AiPhone：使用AI分析人們?cè)谠O(shè)備上的操作，并自動(dòng)啟用Siri控制的功能。最初將限于蘋果自己的應(yīng)用程序，公司計(jì)劃支持?jǐn)?shù)百種不同的命令。

這包括能夠打開單個(gè)文檔、將筆記移動(dòng)到另一個(gè)文件夾、發(fā)送或刪除電子郵件、在Apple News中打開特定的出版物、通過電子郵件發(fā)送網(wǎng)頁鏈接，甚至要求設(shè)備對(duì)文章進(jìn)行摘要。

目前，Siri還主要限于播放音樂播放列表、查找信息或控制智能家居設(shè)備等更廣泛的命令。該公司還向開發(fā)者提供所謂的應(yīng)用程序意圖，允許他們?yōu)镾iri創(chuàng)建訪問單個(gè)功能的途徑。2018年，蘋果還推出了Siri快捷方式，允許用戶手動(dòng)為應(yīng)用程序功能創(chuàng)建命令。

Siri的升級(jí)是公司更大AI戰(zhàn)略的一部分，該戰(zhàn)略將在6月10日的全球開發(fā)者大會(huì)上公布。蘋果正在準(zhǔn)備包括語音備忘錄轉(zhuǎn)錄和摘要、網(wǎng)站和通知的快速概述、自動(dòng)消息回復(fù)、高級(jí)照片編輯和AI生成的表情符號(hào)在內(nèi)的多項(xiàng)功能，彭博社報(bào)道。

2.AI和安全，蘋果都想要

重視數(shù)據(jù)安全使得蘋果的AI之路一度非常保守。

在為Siri計(jì)劃升級(jí)時(shí)，它們準(zhǔn)備了一個(gè)系統(tǒng)，以使用AI自動(dòng)確定一個(gè)功能應(yīng)該在設(shè)備上處理還是通過云處理。   

總的邏輯上，蘋果選擇將更基本的AI任務(wù)將在設(shè)備本身上處理，而更高級(jí)的功能將通過云計(jì)算來處理。

該公司還一直在與OpenAI達(dá)成協(xié)議，將這家初創(chuàng)公司的聊天機(jī)器人和其他技術(shù)整合到iOS操作系統(tǒng)中，并且它仍在與谷歌的母公司Alphabet Inc.談判，計(jì)劃將來使用其Gemini軟件。蘋果軟件主管克雷格·費(fèi)德里吉告訴他的團(tuán)隊(duì)盡可能為今年的操作系統(tǒng)更新開發(fā)新的AI功能。

不過，這還是引發(fā)了一些對(duì)隱私問題的關(guān)注。雖然設(shè)備上的任務(wù)不會(huì)共享個(gè)人信息，但基于云的方法將需要將一些用戶數(shù)據(jù)轉(zhuǎn)移到遠(yuǎn)程服務(wù)器。該信息將由高端蘋果Mac芯片中的所謂Secure Enclave保護(hù)，這些芯片為數(shù)據(jù)中心提供動(dòng)力。

此外，蘋果將嘗試通過創(chuàng)建一個(gè)“智能報(bào)告”來進(jìn)一步向客戶保證他們的數(shù)據(jù)是私密的，該報(bào)告解釋了信息是如何被保護(hù)的。iPhone制造商也不會(huì)建立客戶檔案——它批評(píng)谷歌和Meta Platforms Inc.這樣做。

3.蘋果的臥薪嘗膽

蘋果從未停止過在AI領(lǐng)域的探索，或許我們可以從已有的成果中，勾勒出未來Siri的草圖。

• MM1

??https://machinelearning.apple.com/research/mm1-methods-analysis-insights??

MM1是一個(gè)多模態(tài)模型家族，參數(shù)高達(dá)30B，包括密集模型和專家混合（MoE）變體。

• MGIE

??https://github.com/apple/ml-mgie??

研究如何通過多模態(tài)大語言模型（MLLMs）促進(jìn)編輯指令，并提出了 MLLM 引導(dǎo)的圖像編輯（MGIE）。

• LLM in a Flash

??https://arxiv.org/pdf/2312.11514??

研究在內(nèi)存受限的設(shè)備上高效運(yùn)行超出可用DRAM容量的大型語言模型（LLMs）的問題。

• Ferret

??https://github.com/apple/ml-ferret??

理解圖像中任何形狀或粒度的空間指代，并能準(zhǔn)確地將開放詞匯描述落地。

Ferret模型的引入可能會(huì)使得手機(jī)中的虛擬助手在視覺理解和交互方面有顯著的性能提升。

• Realm

??https://arxiv.org/pdf/2403.20329??

解決如何利用大型語言模型（LLMs）有效地解析各種類型的引用，尤其是非對(duì)話實(shí)體。

如果一個(gè)用戶在使用一個(gè)應(yīng)用程序時(shí)與智能助手交談，他們可能會(huì)提到屏幕上顯示的某個(gè)按鈕或選項(xiàng)，即使這個(gè)按鈕并沒有在對(duì)話中直接被提及。在這種情況下，智能助手需要能夠理解用戶所指的"按鈕"是指他們屏幕上的特定非對(duì)話實(shí)體，并據(jù)此提供適當(dāng)?shù)捻憫?yīng)或操作。

• FerretUI

??https://arxiv.org/pdf/2404.05719??

Ferret-UI模型的引入可能會(huì)使手機(jī)中的虛擬助手在理解用戶界面、執(zhí)行指令、處理復(fù)雜任務(wù)方面與用戶進(jìn)行更加有效的交互。   

• OpenELM

??https://machinelearning.apple.com/research/openelm…??

通過公開模型的完整框架，包括訓(xùn)練和評(píng)估代碼、日志、檢查點(diǎn)和預(yù)訓(xùn)練配置，可以確保虛擬助手背后的算法更加透明，有助于研究人員和開發(fā)者理解和復(fù)現(xiàn)結(jié)果。

隨著Siri的升級(jí)，蘋果希望重振一個(gè)落后于競(jìng)爭(zhēng)對(duì)手服務(wù)的開創(chuàng)性產(chǎn)品。該公司于2011年首次推出Siri，為其在基于語音的接口和AI方面提供了領(lǐng)先優(yōu)勢(shì)。但蘋果很快將這一領(lǐng)先優(yōu)勢(shì)輸給了亞馬遜公司的Alexa和谷歌助手。然后在兩年前生成性AI聊天機(jī)器人出現(xiàn)時(shí)，它又措手不及。如今，蘋果計(jì)劃通過引入更先進(jìn)的人工智能技術(shù)，徹底改革Siri，使其能夠控制應(yīng)用的各個(gè)功能，借此將其虛擬助手推向新的高度。

參考鏈接：

1.https://www.bloomberg.com/news/articles/2024-05-30/apple-ios-18-siri-ai-update-will-let-users-control-features-in-apps-with-voice?srnd=technology-ai

2.??https://x.com/maxxrubin_/status/1797417653122027725?s=46&t=KxYfPIc0aizUawD67ZIUfw??

本文轉(zhuǎn)載自??51CTO技術(shù)棧??