還有史詩級更新：iPhone 加通話錄音，iPad 加計算器。

不止 Siri 或 iPhone，整個蘋果，向前邁進了一大步。

北京時間 6 月 11 日凌晨，蘋果全球開發(fā)者大會 WWDC 在庫比蒂諾的 Apple Park 正式召開。這場大會，蘋果如我們所愿終于帶來了覆蓋全線產品的生成式 AI 技術，與此同時還有些預料之外的消息。

「蘋果的目標一直是構建以人為本，最為易用方便的個人設備，提升人們的生活效率。多年來我們一直在應用人工智能、機器學習技術來實現(xiàn)目標，」蘋果 CEO 蒂姆?庫克說道?！缸罱笳Z言模型等 AI 突破，讓我們有機會把體驗推向新的高度?！?/span>

現(xiàn)在終于能知道蘋果是如何看待生成式 AI 的了。首先是理念：必須要強大、直觀、完全整合、個性化且保護隱私。

然后是方式：基于蘋果設備強大的 M 系列芯片，走自研本地大模型加云端的策略，本地的模型不走尋常路，超出本地處理能力的問題可以借助云端大模型解決（Private Cloud Compute），也可以找 OpenAI 的 GPT-4o。

十三年前，蘋果的語音助手 Siri 橫空出世，為智能手機探索了下一次交互變革。在生成式 AI 時代，Siri 終于有機會兌現(xiàn)當初人們寄予的厚望，它變得更加聰明，擁有豐富的知識，會像目前最先進的大模型工具一樣一步步給你提示，幫你解決問題。

另外，現(xiàn)在和 ChatGPT 一樣，你也可以向 Siri 打字交互了。

蘋果表示，Siri 的全新形態(tài)將會改變游戲規(guī)則。大量 AI 新能力會很快上線，另外屏幕讀取、App 內 / App 之間的操作等能力預計明年到位。

新 Siri 只是蘋果 AI 能力的一小部分，今年 WWDC 長達一個半小時的 keynote 上，蘋果首次把 AI 能力單列出一個章節(jié)，專門介紹從圖像到文本，覆蓋手機、iPad 和 Mac 的生成式 AI。它們都基于 Apple Intelligence。

Apple intelligence：完整 AI 體系

Apple intelligence 是蘋果的全新個性化智能系統(tǒng)，全面接入了生成式 AI 的能力。

Apple Intelligence 結合生成式 AI 模型和使用者的個人資料，提供實用的智能服務。它覆蓋 iPhone、iPad 和 Mac，深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。它利用蘋果芯片的能力來理解并創(chuàng)造語言和圖像，可以跨應用地執(zhí)行操作，并利用個人信息簡化和加速日常任務。

這些應用可以在設備端運行，超出設備端能力的部分也可以在云上運行。通過 Private Cloud Compute，蘋果在 AI 領域設立了新的隱私標準，能夠在設備端處理和基于服務器的大型模型之間靈活調整計算能力，這些服務器運行在專用的蘋果芯片上。

庫克表示，Apple Intelligence 是蘋果創(chuàng)新的新篇章，將改變用戶使用產品的方式。他強調，蘋果獨特的方法結合了生成式人工智能和用戶的個人信息，能提供真正有用的智能服務。此外，Apple Intelligence 能夠以完全私密和安全的方式訪問信息，幫助用戶完成對他們最重要的事情。這是蘋果獨有的 AI 體驗。

脫胎換骨的 Siri

Apple Intelligence 為 Siri 帶來了更深層次的系統(tǒng)整合。Siri 現(xiàn)在擁有更豐富的語言理解能力，變得更加自然、更懂上下文、更個性化，能夠簡化和加速日常任務。Siri 能夠理解用戶在說話時的猶豫，并在不同請求之間保持上下文連貫。用戶還可以通過打字與 Siri 交流，并根據(jù)需要在文本和語音之間切換。此外，Siri 還擁有全新的設計，當 Siri 處于激活狀態(tài)時，屏幕邊緣會環(huán)繞著優(yōu)雅的發(fā)光效果。

現(xiàn)在，用戶可以向 Siri 輸入文字，也可以在文字和語音之間切換，以任何合適的方式與 Siri 交流。

Siri 現(xiàn)在可以為用戶提供全面的設備支持，無論他們身在何處，都能解答關于 iPhone、iPad 和 Mac 操作的數(shù)千個問題。比如，用戶可以學習如何在 Mail 中安排郵件、如何從淺色模式切換到深色模式等各種操作。

而且，有了屏幕感知功能，Siri 可以讓你輕松執(zhí)行與屏幕上的信息相關的操作，例如將聊天信息中收到的地址添加到朋友的通訊錄中。

借助 Apple Intelligence，Siri 能夠在蘋果和第三方應用中執(zhí)行數(shù)百種新操作。例如，用戶可以說：「從我的閱讀列表中找出那篇關于蟬的文章」，或者「把周六燒烤的照片發(fā)給 Malia」，Siri 將自動處理這些請求。

Siri 現(xiàn)在可以在應用程序中或跨應用程序執(zhí)行數(shù)百項新操作，包括在「Messages」和「Mail」中查找朋友發(fā)送的書籍推薦。

Siri 能夠根據(jù)用戶的設備信息提供個性化的智能服務。例如，用戶可以說：「播放 Jamie 推薦的那個播客」，Siri 將定位并播放該播客，用戶無需記住它是在短信還是郵件中被提及的。用戶也可以問：「媽媽的航班什么時候到達？」Siri 將找到航班詳情，并與實時航班追蹤數(shù)據(jù)交叉引用，以提供到達時間。

Siri 能夠根據(jù)用戶及其設備上的信息提供量身定制的智能服務，例如查找即將起飛航班的詳細信息或跟蹤晚餐預訂情況。

其實，關于 Siri 的這次更新，蘋果在四月份的一篇論文中早有劇透，只不過當時沒有引起足夠的注意。具體細節(jié)可以參見機器之心報道《讓大模型理解手機屏幕，蘋果多模態(tài) Ferret-UI 用自然語言操控手機》。

此外，蘋果還開源了一些相關研究，參見：https://github.com/apple/ml-ferret?tab=readme-ov-file。

跨蘋果平臺集成 ChatGPT

不出所料，今天蘋果發(fā)布會的一大亮點在于與 OpenAI 的合作。

蘋果宣布，Apple 正在將 ChatGPT 集成到 iOS 18、iPadOS 18 和 macOS Sequoia 內的體驗中，使用戶無需在工具之間跳轉即可訪問 ChatGPT，包括圖像和文檔理解功能。

此外，Siri 也可以隨時利用 ChatGPT 的專業(yè)回答。但 Siri 在將任何問題、任何文檔或照片發(fā)送到 ChatGPT 之前，都會先詢問用戶，然后 Siri 直接給出答案。

當用戶授予權限時，Siri 可以利用 ChatGPT 的回答。

此外，Apple 系統(tǒng)范圍內的寫作工具也可以用到 ChatGPT，從而幫助用戶生成內容。通過 Compose，用戶也可以訪問 ChatGPT 圖像工具來生成各種風格的圖像。

寫作工具訪問 ChatGPT 協(xié)助寫作

至于上線時間，蘋果表示 ChatGPT 將于今年晚些時候登陸 iOS 18、iPadOS 18 和 macOS Sequoia，由 GPT-4o 提供支持。用戶無需創(chuàng)建帳戶即可免費訪問它，ChatGPT 訂閱者可以連接他們的帳戶并直接從這些體驗中訪問付費功能。

最后，Apple Intelligence 對用戶完全免費，并將于今年秋季作為 iOS 18、iPadOS 18 和 macOS Sequoia 的一部分提供英語測試版。更廣泛地功能、軟件平臺和其他語言將在明年推出。Apple Intelligence 將在 iPhone 15 Pro、iPhone 15 Pro Max 以及搭載 M1 及更高版本的 iPad 和 Mac 上提供。

也就是說想要用到這些大模型能力，你就要花錢買最新的蘋果設備了。

新的語言理解和創(chuàng)造能力

Apple Intelligence 為用戶解鎖了提升寫作能力和更有效溝通的新途徑。

全新的系統(tǒng)級寫作工具被內置于 iOS 18、iPadOS 18 和 macOS Sequoia 中，用戶幾乎可以在任何寫作場合重寫、校對和總結文本，包括郵件、備忘錄、頁面以及第三方應用程序。

利用重寫功能，用戶可以從多個版本中挑選，調整文風以適應不同的讀者和場合。無論是為求職信增加說服力，還是為派對邀請函注入幽默與創(chuàng)意，重寫功能都能幫助用戶找到恰如其分的表達。

校對功能則深入檢查語法、詞匯和句式結構，并提供建議性的編輯意見及其解釋，讓用戶輕松審查或快速采納。例如，當用戶在撰寫郵件時，寫作工具菜單會彈出，提供校對和重寫的選項，用戶可以根據(jù)自己的需要選擇相應的功能。

而總結功能則允許用戶選取文本，一鍵生成簡潔明了的段落、要點列表、表格或清單，使信息一目了然。例如，當用戶啟動備忘錄應用，在記錄有關全面健康的內容時，就可以使用「總結」功能來提煉要點。

管理郵件是一件讓人頭疼的事情，而新增的「優(yōu)先郵件」功能將最緊急的郵件 —— 如當日的晚餐邀請或登機牌 —— 置于收件箱頂部，用戶無需打開郵件，就能一目了然地看到每封郵件的摘要。

面對長篇的郵件線程，用戶僅需輕觸屏幕，即可獲取關鍵信息。

智能回復功能更是提供了快速回復的選項，并能精準識別郵件中的問題，確保每一項都得到妥善回應，讓郵件管理更加得心應手。

對語言的深刻理解同樣擴展到了通知功能。最重要的通知會被提升至通知列表的頂部，而摘要功能則幫助用戶在鎖屏上快速瀏覽長篇或堆疊的通知，展示關鍵細節(jié)。

「減少打擾」功能是一個新推出的專注模式。當一個群聊特別活躍時，為了幫助用戶更好地專注于當前任務，「減少打擾」功能僅展示那些可能需要立即處理的通知，比如從日托中心提前接孩子的緊急短信。

此外，備忘錄和電話應用也新增了一項功能，用戶可以錄制通話、實時轉錄對話內容，并自動生成摘要。

在通話過程中，如果用戶選擇錄音，所有通話參與者都會收到提示。通話一結束，Apple Intelligence 就會立即生成一份摘要，幫助用戶快速回顧和把握對話中的關鍵信息。

Image Playground

Apple Intelligence 提供令人興奮的圖像生成功能，可以幫助用戶以新的方式溝通和表達自己，這主要體現(xiàn)在新應用功能 Image Playground 上。借助 Image Playground，用戶可以在幾秒鐘內創(chuàng)建有趣的圖像，還能選擇三種風格：動畫、插圖或素描。

Image Playground 易于使用，并且直接內置于包括「Messages」在內的應用程序中，也可以在專用應用程序中使用，非常適合嘗試不同的概念和風格。所有圖像都在設備端創(chuàng)建，用戶可以嘗試任意數(shù)量的圖像。

借助 Image Playground，用戶可以：

• 從主題、服裝、配飾和地點等類別的一系列概念中進行選擇。
• 輸入描述來定義圖像。
• 從個人照片庫中選擇某人加入圖像中。
• 并選擇最喜歡的風格。

借助「Messages」中的「Image Playground」功能，用戶可以快速為朋友創(chuàng)建有趣的圖像，甚至可以看到與他們的對話相關的個性化建議。例如，當用戶向群組發(fā)送有關徒步旅行的消息時，他們會看到與朋友、目的地和活動相關的建議概念，從而使圖像創(chuàng)建更快、更相關。

在 Notes 中，用戶可以通過 Apple Pencil 工具調板中的新 Image Wand 訪問 Image Playground，使筆記更具視覺吸引力。粗略的草圖可以變成令人愉悅的圖像，用戶甚至可以選擇空白空間，利用周圍區(qū)域的背景來創(chuàng)建圖像。

此外，Image Playground 還可以在 Keynote、Freeform 和 Pages 等應用程序以及采用新 Image Playground API 的第三方應用程序中使用。

Genmoji：將表情符號提升到一個全新水平

用戶可以創(chuàng)建原創(chuàng)的 Genmoji 來表達自己的想法，只需輸入描述，符合要求的 Genmoji 就會出現(xiàn)，并附帶其他選項。

用戶甚至可以根據(jù)照片為朋友和家人創(chuàng)建 Genmoji。就像表情符號一樣，Genmoji 可以內嵌添加到消息中，也可以作為貼紙進行分享。

用戶只需輸入描述，生成Genmoji 以及其他選項。

就像表情符號一樣，Genmoji 可以內嵌添加到消息中。

照片中新增功能，為用戶提供了更多控制 

借助 Apple Intelligence，搜索照片和視頻將變得更加方便。用戶可以使用自然語言搜索特定照片，例如搜索「Maya 穿著扎染襯衫滑板」或「Katie 臉上有貼紙」。

此外，視頻搜索也變得更加強大，用戶能夠在剪輯中找到特定時刻，并直接跳到相關片段。此外，全新的「Clean Up」工具可以識別并移除照片背景中的干擾物體，而不會改變主體。 

通過「Memories」功能，用戶只需輸入描述即可創(chuàng)建自己想要觀看的故事。借助語言和圖像理解，Apple Intelligence 會根據(jù)描述挑選出最佳照片和視頻，根據(jù)照片中識別的主題制作故事情節(jié)，并將它們排列成具有獨特敘事弧線的電影。用戶甚至會收到來自 Apple Music 的歌曲推薦進行匹配。與所有 Apple Intelligence 功能一樣，用戶的照片和視頻會在設備上保持私密，不會與其他人共享。 

AI 隱私新標準

Apple Intelligence 要想真正為用戶提供幫助，就必須了解深層次的個人上下文，同時保護用戶隱私。Apple Intelligence 的基石是在設備上（on-device）進行處理，許多模型完全在設備上運行。對于需要更多處理能力的更復雜請求，Private Cloud Compute 將蘋果設備的隱私和安全性擴展到云端，以解鎖更多的智能功能。

通過 Private Cloud Compute，Apple Intelligence 能夠靈活擴展其計算能力，并利用基于服務器的更大模型來處理更復雜的請求。這些模型在由蘋果芯片驅動的服務器上運行，為蘋果提供了一個基礎，確保數(shù)據(jù)永遠不會被保留或暴露。

獨立專家可以檢查在蘋果芯片服務器上運行的代碼，以驗證隱私保護措施。Private Cloud Compute 通過加密確保 iPhone、iPad 和 Mac 不會與服務器通信，除非其軟件已被公開記錄以供檢查。帶有 Private Cloud Compute 的 Apple Intelligence 為 AI 領域的隱私保護設立了新的標準，為用戶提供了可信賴的智能服務。

Andrej Karpathy：蘋果智能非常激動人心

蘋果的 Apple Intelligence 吸引了全世界科技從業(yè)者的關注。OpenAI 創(chuàng)始成員 Andrej Karpathy 發(fā)帖總結說，他非常喜歡蘋果發(fā)布的「蘋果智能」。他個人觀察到了以下幾個主題：

• 多模態(tài)輸入 / 輸出。蘋果啟用了文本 / 音頻 / 圖像 / 視頻讀寫功能?？梢哉f，這些都是原生的人類 API。
• Agentic。蘋果允許操作系統(tǒng)和應用程序的所有部分通過「函數(shù)調用」進行互操作；內核進程 LLM 可根據(jù)用戶查詢安排和協(xié)調它們之間的工作。
• 無摩擦。蘋果以一種高度流暢、快速、always on 和上下文的方式全面集成這些功能。無需四處復制粘貼信息、提示工程等。還對用戶界面進行了相應調整。
• 主動性。蘋果沒有根據(jù)提示執(zhí)行任務，而是預測提示、提出建議并主動執(zhí)行任務。
• 分級授權。盡可能多地將智能移動到設備上（蘋果芯片非常有幫助且適合），但允許將工作可選地派發(fā)到云端。
• 模塊化。允許操作系統(tǒng)訪問并支持整個不斷增長的 LLM 生態(tài)系統(tǒng)（例如 ChatGPT 公告）。
• 隱私。

Karpathy 表示，我們正在迅速進入這樣一個世界：你可以打開手機，隨便說些什么，它會回應你，它了解你，而且它還能正常工作，這非常激動人心。

全新 macOS 系統(tǒng)讓 Mac、iPhone 實現(xiàn)連續(xù)互通

此次，蘋果 macOS 系統(tǒng)也迎來了重大的版本更新，包括系統(tǒng)名稱、新增一系列功能等。

macOS 15 系統(tǒng)更名為了 macOS Sequoia，將于下月推出公測版，今年秋季面向普通用戶發(fā)布完整版。其中引入的最顯著功能包括 iPhone 鏡像（mirroring）、通知（Notifications）和 Safari 升級。

我們重點來看新增的 iPhone 鏡像功能，它允許用戶直接在 Mac 上完全訪問和使用 iPhone。用戶可以在 Mac 設備上啟動和瀏覽任何他們想要執(zhí)行操作的 iPhone 應用程序，并通過鍵盤、觸控板和鼠標與手機無縫互動。

滑動 iPhone 屏幕。

打開 iPhone 應用程序。

借助 Mac 上的 iPhone 通知功能，用戶可以在 Mac 上接收 iPhone 手機的通知，點擊通知就能進入對應的應用程序。

當用戶在 Mac 上工作時，iPhone 屏幕將鎖定待機模式，其他人無法訪問或查看你正在做的事情。

在 Mac 上通過拖曳輕松實現(xiàn) Mac 與 iPhone 之間文件傳輸。

雖然 Mac 上已能運行 iOS 應用，但直接操作手機界面顯然更直觀。這方面 Mac 可謂是跟上了安卓、鴻蒙的步伐。

macOS Sequoia 還添加了一個類似于 Windows 的新窗口排列工具，可以自動調整應用窗口大小以平鋪并填滿屏幕。當用戶將窗口拖到屏幕邊緣時，系統(tǒng)會自動建議將其放在桌面的哪個位置，從而讓桌面井然有序。

用戶可以選擇將窗口并排平鋪或者放在角落以查看更多應用程序，同時新的鍵盤和菜單快捷鍵可以幫助更快地進行排列平鋪。

此外，Mac 內置瀏覽器 Safari 通過「突出顯示」（Highlights）功能讓用戶更輕松地發(fā)現(xiàn)信息，比如路線、摘要或快速鏈接。這里利用機器學習技術自動檢測用戶正在瀏覽的信息并突出顯示。

規(guī)劃路線時突出顯示。

可以看到，全新 macOS 系統(tǒng)加持下的 Mac 體驗更加地輕松、便捷、高效。

違背祖訓，給 iPad 裝計算器

對于 iPad 用戶來說，最大的進步莫過于終于有原生的計算器應用了。喬布斯曾經(jīng)說過，把計算器裝進 iPad 是「反直覺」的，所以十幾年來這種全球最為流行的平板設備一直沒有計算器 App。

現(xiàn)在生成式 AI 來了，蘋果立馬「違背了祖訓」。

蘋果推出了全新的數(shù)學筆記（Math Notes）計算器，使用戶能夠輸入或手寫數(shù)學表達式，并立即看到以他們自己的筆跡解決的結果。在學習新概念、計算預算等時，用戶還可以為變量分配值。新增的繪圖功能允許用戶寫出或鍵入方程式，并只需輕觸一下即可插入圖表，甚至可以在同一個圖表上添加多個方程式，以查看它們之間的關系。

計算器 APP 專為 iPad 的獨特功能而設計，提供了一種使用 Apple Pencil 解決表達式問題的全新方式。

當然，這一切的前提是，你得有個 Apple Pencil。

iPad 上的這個基本科學計算器讓用戶在完成之前就能輕松查看完整的表達式。歷史記錄功能幫助用戶跟蹤之前的計算結果，而單位轉換功能讓用戶能夠快速轉換長度、重量、貨幣等單位。

有了 Math Notes，計算器允許用戶鍵入或寫出數(shù)學表達式，并立即看到它們的解，還能為變量賦值，以便在表達式中使用。

One More Thing

除了大換代的 macOS、iPadOS 系統(tǒng)，蘋果在其他設備端的系統(tǒng)也都有相應的更新。其中混合現(xiàn)實頭戴設備 Vision Pro 有了全新的系統(tǒng) ——visionOS 2，新增了很多全新的功能，比如利用高級機器學習從 2D 圖像中導出左右眼視圖，并創(chuàng)建具有自然深度的空間照片。

6 月 28 日，vision Pro 將率先在中國、日本和新加坡發(fā)售。國行價格方面，256GB 版本 29999 起、512GB 版本 31499 起、1TB 版本價格 32999 元。這樣的價格，你打算入手嗎？

蘋果的一系列發(fā)布，既跟上了節(jié)奏，也發(fā)揮出了蘋果自身從硬件到軟件一體化的優(yōu)勢。畢竟在安卓陣營，短時間內還難以見到手機與服務器用同一芯片架構的情況。另一方面，與技術最先進的 OpenAI 深度合作也被人們認為是「放得開」。

那么蘋果 AI 落地的前景算是一片大好？不一定，今天的股價還是下跌了。

WWDC 的 Keynote 結束后，蘋果市值再次被英偉達超過。

另外馬斯克也說了，既然蘋果是系統(tǒng)級整合 OpenAI，那就是無法接受的不安全，在我的公司里要禁用。

不論投資者還是友商，都有些顧慮。

「Apple intelligence」能不能讓蘋果在生成式 AI 的賽道上反超，或許還有待時間的檢驗。

參考鏈接：

https://www.apple.com/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/。

https://www.apple.com/newsroom/2024/06/macos-sequoia-takes-productivity-and-intelligence-on-mac-to-new-heights/。