蘋果一夜重塑iPhone!GPT-4o加持Siri,AI深入所有APP,庫克:開啟蘋果AI下一章 精華
千呼萬喚,蘋果如何用AI重塑iPhone,答案終于揭曉!
各種令人聞之激動的傳聞,通通都是真的——
確定和OpenAI達成合作,接入ChatGPT,使用GPT-4o模型。
Siri完成重生,iPhone人機交互模式重構(gòu),手機智能助手代勞一切近在咫尺。
Apple Intelligence,就此要成為AI的全新代名詞了。
發(fā)布一結(jié)束,WWDC 24立馬沖進熱搜前三。
網(wǎng)友們都在感慨蘋果這逆天的整合能力,各種AI新功能通通滿足大家想象力。
還有人說,這回罵早了……
簡單總結(jié),這場發(fā)布的內(nèi)容就是蘋果家族OS大更新。
尤其是iOS、iPadOS,在Apple Intelligence加持下,AI濃度飆升。
而且Apple Intelligence,免費提供!支持iPhone 15 Pro及以上設(shè)備,搭載M1及更高配置芯片的Mac。
內(nèi)置的ChatGPT也無需注冊即可使用。
今年秋季,iOS 18、iPadOS 18、macOS Sequoia的測試版將以英文版發(fā)布。
具體帶來哪些新體驗?搶先來看。
Apple Intelligence+ChatGPT強強聯(lián)手
如何定義AI Phone?
蘋果選擇系統(tǒng)AI化+引入強大云端大模型。
也就是Apple Intelligence和ChatGPT聯(lián)手。
先來看Apple Intelligence(以下簡稱蘋果AI)。
它是iPhone、iPad及Mac具備強大生成式AI能力的關(guān)鍵。
它的基礎(chǔ)能力共分為四個方面:語言、圖像、行動和個性化。
語言方面,基于內(nèi)置的大模型,蘋果AI能為iPhone通知設(shè)定優(yōu)先次序,把最要緊的事放最上面。
加強的全系統(tǒng)內(nèi)的寫作工具(Keynotes以及第三方APP等), 支持重寫、校對、提取摘要、創(chuàng)作評論等功能。
圖像方面,蘋果AI能分清楚相冊中不同的面孔,并基于他們生成圖像。
一共支持素描、插畫、動畫3種生成風(fēng)格,可在信息、無邊記等各種APP中使用。
如果想不到提示詞,Image Playground還支持根據(jù)標簽生成圖像,模型在端側(cè)運行。
另一個重大的圖像生成能力是emoji都能自定義了!
Genmoji能根據(jù)提供的描述生成最符合你心意的emoji,還能根據(jù)相冊中的人物定制。
同時,蘋果AI還成支持清除照片中的干擾物:
使用自然語言搜索圖像視頻:
根據(jù)輸入的提示詞選擇出最佳相片一鍵剪輯:
行動力方面,主要是指蘋果AI可以在APP內(nèi)或者跨APP執(zhí)行更多操作。
比如只需開口說,找到XX上周發(fā)的文件、找到和媽媽相關(guān)的照片等,系統(tǒng)就能代勞。
同時還能深刻理解個人情景。
不僅分析各種個人信息數(shù)據(jù),還能讀懂屏幕。
舉個栗子,比如突然郵件通知了一個臨時會議,那么還能趕上接下來女兒的演出嗎?蘋果AI可以自動識別分析郵件中的會議時間、知道“女兒”是誰、找到女兒演出的時間地點日程、并從地圖中規(guī)劃路線,最后給出分析。
但如此深度的智能,個人信息隱私如何保障?
蘋果表示推出了專門的隱私架構(gòu),涉及到個人隱私的計算,能在端側(cè)就在端側(cè)進行。在這方面,他們對硬件進行深度整合,A17 Pro以上的芯片都支持。同時在云測,他們也推出了Private Cloud Compute,可以提供芯片級的信息保護。
在用戶發(fā)出指令后,蘋果AI會先分析請求是否能在端側(cè)利用大模型解決,如果不能再調(diào)用云端模型。
蘋果自信表示,這是為AI隱私保護設(shè)立了全新標準。
除此之外,蘋果AI還能對錄音內(nèi)容自動生成摘要、總結(jié)電話錄音。
這些能力都是隨著iOS 18、iPadOS 18、macOS Sequoia免費提供的。
而對于需要更廣闊知識、專長特長的任務(wù),蘋果搬出了ChatGPT。
比如想要為菜譜提供靈感,可以問問Siri,Siri推薦使用ChatGPT,如果接受這一建議,就能立馬獲得來自ChatGPT的答案。
多模態(tài)任務(wù)也支持,Siri會詢問是否可以查看照片、PDF等。
所有會分享給ChatGPT的信息,都會事先征求用戶意見。
想要免費使用ChatGPT也不用創(chuàng)建賬戶,所有請求都不會被記錄。ChatGPT的訂閱用戶能關(guān)聯(lián)自己賬戶,也能接入付費功能。
這個功能將在今年稍晚推出。蘋果表示,未來還將增加對其他AI模型的支持。
那么更具體的,蘋果AI還能做什么?
來看Siri的全新升級。
Siri新紀元的起點
蘋果表示,在Apple Intelligence加持下,Siri正式邁入新紀元。
接下來的Siri,更自然、更貼合語境、也更接近用戶。
從外觀來看,當(dāng)和Siri對話時,屏幕邊緣會環(huán)繞一圈光暈。
從智能度來說,Siri現(xiàn)在可以理解更豐富的語言,就算說的不連貫,也OK:?
并且Siri現(xiàn)在還可以聯(lián)系上下文信息。
即使停頓一下再讓它安排日程,它也能理解安排“那里”指?的是哪里。
Siri現(xiàn)在還支持語音打字切換輸入,只需在屏幕下方快速輕點兩下就能召喚出鍵盤:
更重要的是,Siri已經(jīng)掌握了大量關(guān)于功能和設(shè)置的信息,能夠解答數(shù)千個關(guān)于操作的問題。
就算不知道某項具體功能是什么名字,只需要表述個大概,Siri就能懂你說的是哪個功能。
蘋果表示明年會推出更多功能。首先,Apple Intelligence將為Siri帶來屏幕內(nèi)容感知功能。
Siri還將能夠理解用戶在APP中的更多操作,然后代勞用戶在數(shù)百種APP內(nèi)以及APP之間操作,其中還會用到寫作和圖像生成功能。
比如讓它找到某張照片,然后一鍵修圖:
Siri還可以進行跨APP操作,將修好的圖自動添加到指定的備忘錄中:
據(jù)蘋果介紹,能夠做到這些,還得益于其對APP Intents框架的增強,能讓app定義Siri、快捷指令及其它系統(tǒng)體驗。
而這些增強功能并不局限于蘋果開發(fā)的APP,開發(fā)者可以借助APP Intents API定義他們開發(fā)的APP中的各種操作。
還沒完,Apple Intelligence所提供的個人情境的認知能力,讓Siri發(fā)現(xiàn)和理解的內(nèi)容范圍遠超以往。
例如,直接詢問“媽媽的航班幾點到?”,Siri就能自主參考郵件中的航班詳情以及航班的實時動態(tài),提供最新到達時間。
詢問“午飯怎么安排的?”,Siri就能追蹤信息閑聊里的內(nèi)容,回答在哪里吃飯,吃什么。
緊接著還能給出機場到吃飯地點需要的時長。
一系列操作完全不需要用戶在幾個APP之間跳轉(zhuǎn)自己查詢,詢問Siri幾秒鐘就能搞定。
Siri的所有更新均同樣適用于iPad和Mac。
iOS 18更加個性化了
在Apple Intelligence以外,iOS 18也迎來重大更新。
全新iOS 18,主打“個性化”。現(xiàn)在,iOS 18可以設(shè)置深色模式:
且所有APP小組件的主題色可自定義,iOS還能根據(jù)壁紙風(fēng)格自動推薦色調(diào):
控制中心現(xiàn)在也能自定義控制項了,開發(fā)者可把APP加進控制中心,長掃即可調(diào)出其它控制項:
布局和大小均可調(diào)整:
所有控制項還可以設(shè)置在鎖屏頁面,替代原來的手電筒和相機:
iOS 18在隱私安全方面也推出了個性化設(shè)置。
用戶現(xiàn)在可以為APP上鎖,需面部識別等進行身份驗證才能打開,且上鎖后APP的內(nèi)部信息也不會出現(xiàn)在搜索、通知等手機系統(tǒng)的其它地方。
或者,還可以直接隱藏某個APP,將其放在一個帶鎖的隱藏文件夾中:
iOS 18加持下,眾多APP也一并大更新。
其中,圖庫(Photos)的新功能被官方稱作是“迄今為止最重磅的設(shè)計更新”。
現(xiàn)在圖庫布局上半部分延續(xù)之前的的網(wǎng)格視圖,適合瀏覽所有圖片;下半部分新增對圖片按時間、主題進行分類整理的“小相冊”。
每個小相冊的位置可以自定義,并支持一鍵導(dǎo)出分享。
在瀏覽所有圖片時,底部設(shè)有篩選按鈕,可以選擇一鍵過濾所有截圖等,縮小圖片查找范圍:
另一大APP——短信(Messages)也解鎖了新功能,不僅可以使用emoji、貼紙,還能更改文字格式,進行加粗、斜體、下劃線、刪除線等操作。
如果這些還不足以表達你的情緒,還可以給文字添加特殊效果:
而且現(xiàn)在短信還支持延遲發(fā)送了:
值得一提的是,iPhone14及后續(xù)機型還支持衛(wèi)星功能,無需聯(lián)網(wǎng)就能發(fā)信息。
除此之外,郵箱(Mail)增加郵件分類整理功能,可自動提取重要郵件,比如帶有時效性的信息的文件,還能一鍵提取“摘要”。
錢包、游戲等APP也有新功能推出,這里就不逐一細說了。
一張圖來看iOS 18推出的新功能:
iPad、Mac、Vision Pro系統(tǒng)迭代
除了iPhone,Apple其他智能硬件系統(tǒng)也都進行全新升級。
下面我們挑重點來看。
iPad終于有計算器啦
iPadOS 18絕對稱得上是重大更新……因為它終于引入計算器了!
而且針對iPad的手寫場景推出了“數(shù)學(xué)筆記”功能,支持識別手寫公式、自動求解、自動畫函數(shù)曲線等功能。
用Apple Pencil寫一個數(shù)學(xué)表達式,寫下等號的一瞬間,計算器就自動算出結(jié)果。
如果對表達式做出修改,結(jié)果也會實時更新。
除了基礎(chǔ)運算以外,計算器支持的所有運算都能如此實現(xiàn)。同時這些計算筆記也能被保存下來。
甚至還有更簡單的計算方式,畫個橫線。
比如正在計算項目預(yù)算,在一串開支數(shù)字下畫個橫線,答案就自動計算出來。非常自然,就像是在紙上手動計算一樣。
當(dāng)然也支持更復(fù)雜的計算,比如正在算一個物理題,以不同角度和速度擊打乒乓球時,乒乓球能到達的最高高度。
只需在數(shù)學(xué)筆記中寫出各種變量的數(shù)字,然后就能讓計算器直接帶入數(shù)字在公式中計算。改變相應(yīng)的變量,計算結(jié)果隨之變化。
寫成函數(shù)表達式,點擊等號,還能直接畫出函數(shù)曲線。調(diào)整變量,函數(shù)曲線隨之改變。
另一個重大改變也體現(xiàn)在手寫方面。
備忘錄中推出了Smartscript新功能,利用機器學(xué)習(xí),它能模仿你的筆跡,讓書寫更加工程,還支持將鍵盤打出的內(nèi)容一鍵生成手寫筆記、拼寫檢查、校對糾錯等。
如此看來,買一支Apple Pencil變得更加有必要了。
除此之外,iPad OS 18在更多細節(jié)上也做了提升。
VisionOS 2更3D
VisionOS 2同樣也提到了AI。
它能利用AI將普通2D照片“空間化”。
而且支持在照片應(yīng)用中和好友沉浸式分享內(nèi)容。
交互方面,VisionOS 2支持雙指輕點切換至主屏幕,翻轉(zhuǎn)手掌調(diào)出控制中心的通知、快捷方式等。
旅行模式中增加了對火車場景的支持。
蘋果表示,今年晚些時候?qū)⒅С衷赩ision Pro上連接Mac上的內(nèi)容。
開發(fā)者方面,新增了體積應(yīng)用API,名為TabletopKit的游戲開發(fā)工具包以及企業(yè)應(yīng)用API。
蘋果宣布,接下來將在中國、日本、新加坡、加拿大、法國、德國、英國八個國家發(fā)售Vision Pro。
中國、日本和新加坡的上市時間是6月28日,其他5個地方則要等到7月12日。
MacOS支持iPhone鏡像
MacOS方面,Sepuoia讓設(shè)備互聯(lián)更絲滑了。
現(xiàn)在,可以在Mac桌面上直接打開iPhone鏡像,并且操作iPhone,比如點個咖啡、添加備注。
iPhone的通知、音頻也都能在Mac上互通。但是iPhone本身會處于鎖屏模式,其他人動不了。
當(dāng)然Mac的內(nèi)容也能更方便地傳送到iPhone上,比如剪輯好的視頻,一鍵拖到鏡像內(nèi),便完成了傳輸。
另一個值得關(guān)注的是Safari中的Highlights功能。
它能利用機器學(xué)習(xí)將瀏覽頁面的重點內(nèi)容突出顯示,能讓人更快了解內(nèi)容。
同時在安全方面,最新版本的Safari不僅具備智能防追蹤功能,還能阻止網(wǎng)站窺探你在瀏覽時做了什么。
新出的Keychain則能將各種密碼安全管理好,Mac、iPad、iPhone等都適用。所有密碼都能安全同步于你的各個設(shè)備。
One More Thing
在發(fā)布結(jié)束后,庫克發(fā)布了一條推特,其中寫道:
Apple Intelligence是蘋果AI的下一篇章。
而在被機器學(xué)習(xí)、大語言模型、擴散模型等AI專業(yè)詞匯灌滿的發(fā)布會中,蘋果也多次提到“新紀元”、“just begining”這樣的字眼。
總之,AI Phone蘋果是終于出手了。
