蘋果說到做到，一夜間，iPhone果然被AI重塑！

長達一個半小時的WWDC大會，主題就是AI、AI、AI——

從iPhone、iPad到Mac，無不被生成式AI覆蓋。橫空出世的Apple Intelligence，讓蘋果全系產(chǎn)品有了史詩級升級。

圖片

現(xiàn)在的整個蘋果全家桶，都會用上GPT-4o，Siri還能隨時召喚ChatGPT。

硅谷各家大科技公司的大模型發(fā)展得如火如荼，蘋果能做什么？庫克的這句話揭示了答案——「LLM等AI突破，讓我們有機會把蘋果產(chǎn)品的體驗推向新的高度」。

你們做模型，我們做產(chǎn)品，的確是蘋果一貫擅長的賽道。

圖片

而且，對于大家普遍擔(dān)憂的安全問題，蘋果也有解：通過蘋果強大的自研芯片，普通大模型在設(shè)備端運行，太大的大模型就放到云端。

而蘋果專門打造的私密云計算技術(shù)，也保障了我們的隱私和安全，我們的數(shù)據(jù)就連蘋果都無法訪問。

被Apple Intelligence加持的Siri，也徹底改頭換面，全面逼近蘋果讓它「自由穿梭于系統(tǒng)中，隨時聽我們調(diào)遣」的愿景。

圖片

此外，除了Vision OS的重大更新之外，庫克的這個消息也讓中國用戶激動不已：Vision Pro將于6月28日登錄中國市場，本周五開始接受預(yù)定，價格29999元起！

圖片

網(wǎng)友：蘋果AI滿足了我的所有想象

有中國網(wǎng)友評論說：太牛了，Apple Intelligence真的滿足了自己對AI在設(shè)備上的所有想象，不愧是蘋果。

圖片

以前是Artifical Intelligence，如今就是Apple Intelligence了。

圖片

對于iPadOS 18的數(shù)學(xué)筆記功能，很多人都表示這太狂野了！

圖片

關(guān)于計算器應(yīng)用終于登錄iPad這一史無前例的事件，網(wǎng)友們表示萬分激動。

圖片

OpenAI創(chuàng)始成員，AI大牛Karpathy對于蘋果的這次更新也稱贊不已：「我們正在進入一個打開手機就可以說話的世界。它可以和你對話，而且它認識你。這實在太令人興奮了！」

圖片

Karpathy總結(jié)了這次蘋果發(fā)布會的幾大主題：多模態(tài)輸入/輸出、智能體、無摩擦、主動、分級售授權(quán)、模塊化、隱私

還有人給這次蘋果的所有更新做出了一張bingo游戲圖。

圖片

Apple Intelligence：不僅個人化，而且懂你

蘋果的目標，就是為全球10億用戶構(gòu)建強大的個人化產(chǎn)品。

而近期生成式AI和LLM的發(fā)展，直接給蘋果產(chǎn)品使用體驗的全新升級帶來了可能。

蘋果對于產(chǎn)品的核心原則是： 足夠強大，在最要緊的事上都能幫到用戶；直觀易用；深度整合到產(chǎn)品的使用體驗中；它必須足夠「懂你」，以你的個人情境為基礎(chǔ)；而且，還要注重保護隱私。

如果這些原則都能滿足，那它絕不僅僅是AI了，而是一種「個人化智能」。

而符合全部這些條件的Apple Intelligence，就在昨晚閃亮登場了！

為了這一刻，蘋果已經(jīng)準備了許久

這個全新的個人化智能系統(tǒng)，能讓我們手中的個人化產(chǎn)品更實用、更稱心。

市場上已有的AI聊天工具雖然好，但有一個通?。汉苌俪浞至私庥脩簦蚨膊焕斫馕覀兊男枨?。

而蘋果，要改變這一切。Apple Intelligence，會讓即將到來的iOS 18、iPadOS 18和macOS Sequoia，徹底脫胎換骨！

Apple Intelligence，將強大的生成式模型置于iPhone、iPad和Mac的核心，能夠根據(jù)我們所處的個人情境，來提供協(xié)助，而且深度整合在了所有的APP中。

能力

Apple Intelligence，可以讓我們的iPhone、iPad和Mac理解、生成語言和圖像，還能代替我們跨多個app交互，簡化操作過程。

它最亮眼的地方，就在于理解我們的「個人情境」。

自然語言

Apple Intelligence中內(nèi)置的LLM，能深刻理解自然語言。

比如，iPhone可以為通知設(shè)定優(yōu)先次序，從而為我們減少不必要的干擾，同時又能不錯過重要的信息。

它還會驅(qū)動一個全系統(tǒng)適用的全新書寫工具，讓我們寫起東西來更從容。

它能幫我們重寫、校對，還能提取文字摘要。

在它的幫助下，我們無論是寫文章、發(fā)帖，還是提煉想法分享給他人，過程都會無比絲滑（甚至還能幫我們檢查要發(fā)在網(wǎng)上的評論）。

同時，它還自動支持郵件、備忘錄、Safari瀏覽器、Pages、Keynote，甚至第三方APP。

圖像

Apple Intelligence還包含多種圖像功能，從照片、表情符號到動圖。

甚至，它還能讓我們完全自創(chuàng)圖像，讓我們的日常對話更有趣。

更有趣的是，因為它認得我們照片圖庫中的人物，我們可以把他們的圖像個性化，用到對話中。

比如，給朋友送上生日祝福時，我們可以生成ta的圖像，用蛋糕、氣球和花朵點綴起來。

生成的圖像，有素描、插圖、動畫三種風(fēng)格可選。

更讓人驚喜的是，這些功能在系統(tǒng)中所有app都可用，包括Notes，F(xiàn)reeform，Keynote，Pages等等。

圖片

跨app操作

Apple Intelligence的另一個特點，就是還能跨app操作，這無疑會帶來深遠的影響。

它所需工具的各種資源，就在我們自己的口袋中——這些常用的app里。

蘋果設(shè)計的Apple Intelligence，能隨時取用這些工具，代我們執(zhí)行各種操作。

圖片

我們可以直接向它開口：「調(diào)出上周Joz發(fā)給我的文件」，或者「給我看看所有媽媽、Olivia和我的照片」「播放前幾天我太太發(fā)給我的播客」等等。

Apple Intelligence，會實現(xiàn)數(shù)百種此類操作。

圖片

個人情境

顧名思義，個人化智能最關(guān)鍵的要素之一，就是要深刻理解我們的個人情境。

而Apple Intelligence的運作，正是基于我們的個人信息都和情境之上的。

它能從我們的各種app中，檢索和分析相關(guān)程度最高的數(shù)據(jù)，還能參考我們屏幕上的內(nèi)容，比如我們正在查看的郵件，或者日歷日程。

圖片

在日常生活中，這個功能可太有用了！

比如，我有一場會議改到了傍晚，我想知道開完這場會后，是否還能趕上女兒的演出，直接問Apple Intelligence就可以了。

因為它知道我女兒是誰，她幾天前發(fā)來的演出詳情，我這場會議的時間地點，甚至還能預(yù)估我從公司到劇院的交通情況。

圖片

架構(gòu)

這個個人化智能系統(tǒng)的基石，就是設(shè)備端處理。

要實現(xiàn)這項功能，就離不開蘋果軟硬件整合，以及強大的芯片。

提供支持的芯片，包括A17 Pro，以及M系列芯片，它們?yōu)锳pple Intelligence提供了堅實的算力基礎(chǔ)。

圖片

它內(nèi)置了設(shè)備端的語義索引，可以整理和提煉各種app中的信息。

我們提出請求，Apple Intelligence就會同通過語義索引，識別相關(guān)個人數(shù)據(jù)，然后傳給模型，讓它們根據(jù)個人情境更好地協(xié)助你。

圖片

這個過程中用到的大多數(shù)模型，都能在設(shè)備端運行。

然而有的模型，會大到無法放進隨身攜帶的設(shè)備，怎么辦？

答案就是——服務(wù)器。

不過這里依然有一個問題，在傳統(tǒng)的做法中，服務(wù)器會儲存我們的數(shù)據(jù)，在我們不知情的情況下使用這些數(shù)據(jù)。我們卻無法對之驗證，因為服務(wù)器軟件只有所有者才能訪問。

而蘋果的做法，徹底斷絕了這種可能！

我們能全權(quán)掌控自己的數(shù)據(jù)，包括在哪里儲存、誰能訪問。當iPhone上的隱私和安全保護功能擴展到云端，我們就能解鎖更多智能功能了。

為此，蘋果打造了私密云計算技術(shù)。

圖片

它不僅能擴展自身的計算能力，還能引入更大的基于服務(wù)器的模型，來處理更復(fù)雜的請求。

而我們的隱私也會得到保護，因為我們的數(shù)據(jù)絕不會被存儲，連蘋果都無法訪問。

體驗

Apple Intelligence強大的語言理解功能將落地為寫作助手（Writing Tool）。

作為操作系統(tǒng)的內(nèi)置AI，寫作助手不僅可以用在手機自帶的短信或郵件中，也同樣支持所有需要輸入的第三方應(yīng)用。

郵件中有了自帶的校對功能，可以一鍵查看修改建議，并能直接看到所有詞語的釋義。

寫郵件時，再也不需要一遍遍復(fù)制粘貼到其他應(yīng)用的界面了，蘋果一夜之間就搶了Grammarly的看家生意。

圖片

不僅是文本校對，Writing Tool也同樣提供多樣化的改寫功能。

它可以同時在文中生成多個改寫版本供你選擇，也能隨時回滾到原始版。

圖片

此外，用戶還能和Writing Tool進行個性化交互，定制自己的改寫需求，比如改變文體、文風(fēng)、語氣等等。

想要發(fā)一封有文采的邀請函？Writing Tool可以瞬間幫你把現(xiàn)有的平常文字改寫成一首詩。

圖片

或者一鍵在友好、專業(yè)、簡潔等三種文風(fēng)間切換，絲滑適應(yīng)不同身份的收件人。

圖片

谷歌都有了網(wǎng)頁內(nèi)容的摘要，蘋果又怎么能落下。這不郵件的摘要功能就出來了，拯救所有不想讀長郵件的打工人。

圖片

郵件太多懶得回？Writing Tool也幫你想好了對策。

Smart Reply功能可以自動理解郵件的上下文內(nèi)容，并自動為你生成一堆選擇題。

只需要點擊幾下選出自己的答案，就能生成一份智能回復(fù)，連打字都省了。

圖片

Siri

13年前，Siri首次問世，作為曾經(jīng)首屈一指的智能語音助手曾經(jīng)掀起巨大熱度。

如今，繁忙的Siri每天需要處理15億次語音請求。而它離蘋果「自由穿梭于系統(tǒng)中，隨時聽我們調(diào)遣」的愿景，也更近了一步！

在Apple Intelligence的加持下，Siri變得更自然、更貼合語境了，因此也變得更加貼合我們。

如今當我們和Siri對話時，它和系統(tǒng)的整合會更深入。當它運行時，優(yōu)雅的光暈會環(huán)繞著屏幕邊緣。

圖片

我們和Siri的對話也可以更自然，因為它能理解更豐富的語言。即使說話不連貫，它都能理解我們的意思。

比如問它：明天繆爾海灘是什么天氣，不對，是繆爾森林。

它會清晰地理解你的意思，并且給出正確的回答。

圖片

即使我們在提問中停頓，思考一番，Siri依然能跟上我們。

在對話中，Siri還能聯(lián)系上下文。比如我們接著上面說「創(chuàng)建日歷日程，明天上午9點去那里徒步」，它立馬正確地理解「那里」指的是哪里，完成了指令。

圖片

如果我們不想跟Siri大聲說話，現(xiàn)在可以直接給它打字了。

只要在屏幕下方快速輕點兩下，就能讓Siri快速設(shè)好鬧鐘，整個過程悄無聲息。

跟Siri交流的過程中，我們可以在文字和語音中隨時切換。

而且，現(xiàn)在Siri掌握了大量關(guān)于功能和設(shè)置的信息，能回答數(shù)千個問題，關(guān)于如何在iPad或Mac上進行操作。

圖片

即使我們不知道某項功能的確切名稱，只需要口頭描述一番，Siri就能幫我們找到了！

比如直接問它：「我想現(xiàn)在就寫好信息，然后明天發(fā)送，該怎么做？」

Siri完全明白我們說的是哪個功能，還提供了分步說明。

圖片

Apple Intelligence還會為Siri帶來屏幕內(nèi)容感知功能，這樣，它就能理解屏幕上的內(nèi)容，執(zhí)行相應(yīng)的操作。

比如朋友發(fā)消息告訴你ta的新地址，你可以直接在信息對話中說，「把這個地址加入ta的聯(lián)系人名片中」。

圖片

當然，Siri也可以完成跨app操作。

比如我們可以說：「讓我看看Stacey在紐約穿著粉色大衣的照片」，Siri就會把它們找出來，然后還能按照我們的指令開始修圖。

圖片

然后，我們還可以讓Siri把這張照片加到備忘錄中Stacey的簡介里，它就會從照片app跳轉(zhuǎn)到備忘錄app中，來完成操作。

這些增強功能，也并不限于蘋果開發(fā)的APP。

比如，我們可以讓Siri用Moment的Pro Camera，來拍攝光軌的視頻。

圖片

也可以讓Siri把我們備忘錄里的會議摘要，分享到我們在Superhuman中給大家寫的郵件里。

下面的這個功能，就更酷炫了！

通過為照片、日歷日程、文件等創(chuàng)建語義索引，再加上往來消息和郵件的信息，比如預(yù)定酒店、音樂會門票的PDF文件、朋友分享的鏈接等，Siri能發(fā)現(xiàn)和理解的內(nèi)容范圍，將遠超以往。

如果我們忘了資料是在郵件、信息還是在共享備忘錄里，Siri都能解決。比如我們需要找到朋友之前推薦的書單，或者是填表時需要駕照號碼。

圖片

假如我們打算去機場接媽媽，Siri能直接幫我們規(guī)劃時間。

它能同時參考媽媽在郵件里寫的航班詳情，以及航班的實時動態(tài)，為我們提供最新的到達時間。

而在和媽媽的閑聊中，她提到過中午訂了餐廳，我們就可以直接問Siri去那家餐廳需要多久，完全不必在郵件、信息和地圖中跳來跳去了！

如蘋果所說，今年將成為Siri新紀元的起點。

蘋果「全家桶」用上GPT-4o

以上所展示的蘋果AI能力，僅是一個「起點」。它能夠以極為獨特的方式理解你、尊重你、支持你。

未來，蘋果還將帶來超多的實用功能，比如備忘錄中的錄音和轉(zhuǎn)寫功能。

圖片

它能夠幫你更詳細地記下筆記，專心聽講，完全可以替代GoodNotes、Notability這類的學(xué)習(xí)工具。

錄音/轉(zhuǎn)寫完成后，蘋果AI還能幫你總結(jié)摘要，掃一眼便能抓住要點。

圖片

與此同時，錄音/轉(zhuǎn)寫和蘋果AI結(jié)合的能力，同樣適用于電話應(yīng)用。

當你實時通話的時候，開啟錄音，所有的參與者都將會收到通知，并且通話結(jié)束后蘋果AI也會生成一段摘要。

圖片

Siri召喚ChatGPT

對于一些非常有用的外部AI工具，比如擅長處理某些需要廣博知識，或者專業(yè)特長的任務(wù)，蘋果直接將其模型納入體驗之中，而無需來回切換工具。

當然，這個工具就是行業(yè)的翹楚、市場的開拓者和領(lǐng)頭羊—— ChatGPT。

蘋果AI將用上全新的GPT-4o能力。

首先，Siri可以借助ChatGPT的專長，隨時為我們所用。

比如，你想用剛釣的魚，和自家種的菜為朋友準備一頓豐盛的大餐時，可以找Siri給些靈感。

Siri便會問你，是否召喚ChatGPT，然后直接為你呈上最豐富的答案。

圖片

而且，問問題時，你還可以上傳一張照片。比如，詢問如何家裝的建議，拍張照片然后問「這個露臺種什么植物好看」？

Siri會首先確認是否會向ChatGPT分享照片，然后才會為你找尋點子，整個過程完全就是一氣呵成。

圖片

除了照片，你還可以詢問關(guān)于文檔、演示文稿，或者PDF中的相關(guān)問題。

另外，蘋果AI還借用了ChatGPT的編寫能力，將其融入所有系統(tǒng)中適用的書寫任務(wù)中。

假設(shè)你想為擅長解謎的6歲女兒寫一個睡前故事，初步構(gòu)想是「她來到了夢幻的蝴蝶童話王國。她和一只毛毛蟲成為了好友，并幫它克服重重困難，最終變成了一只蝴蝶」。

只見，ChatGPT不一會兒功夫完成了一個Annie喜歡的小故事。

圖片

甚至，你還可以選中所有內(nèi)容，讓ChatGPT為其生成一副插畫。

圖片

以上所有能力，無需注冊ChatGPT，便可免費使用。

對于那些訂閱ChatGPT的用戶們，也可以關(guān)聯(lián)自己的賬號，可以在使用蘋果AI過程中接入付費的能力。

不過，蘋果再三強調(diào)，我們的請求和個人信息不會被記錄。何時使用ChatGPT，都是你說了算，再分享任何信息之前，都會征求用戶的許可。

ChatGPT也將集成到這次所有更新的iOS 18、iPadOS 18、macOS Sequoia系統(tǒng)中，并在今年晚些時候推出。

未來，其他先進的AI模型的能力，也會集成到蘋果AI之中。

不出所料，蘋果AI能力僅限在iPhone15級別的手機上使用，不過對于iPad、MacBook還比較友好些，能夠兼容M1芯片及以上的硬件。

圖片

馬老板怒了，禁止全員使用蘋果

ChatGPT在蘋果全家桶中無縫集成能力雖炫酷，卻遭到的全網(wǎng)非議。

最先反對的就是馬老板！

他連發(fā)多篇帖子，對ChatGPT上機蘋果表示不滿，甚至揚言禁止公司所有成員使用蘋果的設(shè)備。

圖片

我不想要這個能力。這就如同間諜軟件一般，如果你們不阻止，我的公司將禁止使用任何蘋果設(shè)備。

圖片

另外，馬斯克還單獨發(fā)帖子稱：

「對于公司的外部來訪者，都必須在門口將他們的設(shè)備放在「法拉第籠」（Faraday cage）中」。

圖片

蘋果沒有能力開發(fā)AI，卻能夠確保OpenAI會保護你的安全和隱私。一旦蘋果將你的數(shù)據(jù)交給OpenAI，他們就不知道OpenAI究竟會如何處理這些數(shù)據(jù)，他們實際上是在出賣你的隱私權(quán)。

圖片

圖片

也有眾多網(wǎng)友對蘋果的這項能力，產(chǎn)生了質(zhì)疑。

一位網(wǎng)友從底層架構(gòu)圖中得出，Siri可以讀取手機上的所有數(shù)據(jù)（適用于選擇加入的應(yīng)用程序） 。

圖片

圖片

一家AI初創(chuàng)的CEO表示，

老實說，我真不理解蘋果為什么要把任何東西發(fā)送給ChatGPT？這太怪異了。為什么不直接讓Meta授權(quán)，然后自己部署400B的Llama模？從70B開始也可以呀...

他們口口聲聲強調(diào)隱私和安全，甚至聲稱你不應(yīng)該相信任何人！結(jié)果他們卻來了個180度大轉(zhuǎn)彎——是的，我們正在把你的數(shù)據(jù)發(fā)送給ChatGPT。

圖片

還有人配上梗圖諷刺道，「當奧特曼已耗盡100%互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)時，看到十億部手機時」。

圖片

蘋果AI背后模型訓(xùn)練過程揭秘

發(fā)布會之外，蘋果還發(fā)布了一篇關(guān)于介紹蘋果AI能力實現(xiàn)背后的基礎(chǔ)模型的文章。

圖片

博客介紹道，蘋果AI是由「多個」強大的生成式AI模型組成，這些模型專用于日常任務(wù)，并根據(jù)當前活動實時調(diào)整。

他們強調(diào)，內(nèi)置的基礎(chǔ)模型針對用戶體驗進行了微調(diào)，比如編寫和提煉文本、對通知優(yōu)先排序匯總等等。

圖片

接下來，蘋果詳細介紹了兩個經(jīng)過微調(diào)建模的模型：

一是，可以運行在終端設(shè)備中的30一參數(shù)模型。

另一個是，更大的基于蘋果芯片加持云服務(wù)器的基礎(chǔ)模型，可用于私有云計算。

其他模型還包括，用于編碼的XCode，擴散模型（幫助用戶如在Messages應(yīng)用中，以視覺方式表達自我）。

預(yù)訓(xùn)練

蘋果的基礎(chǔ)模型，是在2023年發(fā)布的開源項目AXLearn框架之上訓(xùn)練的。

AXLearn建立在JAX和XLA之上，可以在各種訓(xùn)練硬件和云平臺上高效、可擴展地訓(xùn)練模型，包括TPU和云端及本地GPU。

另外，蘋果研究團隊還采用了數(shù)據(jù)并行、張量并行、序列并行和全分片數(shù)據(jù)并行（FSDP）等組合方式，從數(shù)據(jù)、模型和序列長度等多個維度來擴展訓(xùn)練規(guī)模。

圖片

至于數(shù)據(jù)的選用，蘋果表示自己用的是授權(quán)的數(shù)據(jù)訓(xùn)練基礎(chǔ)模型。

其中包括兩種數(shù)據(jù)來源：一是經(jīng)過精心選擇，目的是提升模型的特定功能；二是，蘋果網(wǎng)絡(luò)爬蟲AppleBot工具從網(wǎng)上公開采集的數(shù)據(jù)。

后訓(xùn)練

蘋果團隊意識到，數(shù)據(jù)質(zhì)量對于模型的成功，至關(guān)重要。

因此，他們在訓(xùn)練過程中，采用了「混合數(shù)據(jù)策略」，即結(jié)合使用人工標注和AI生成數(shù)據(jù)，并進行了徹底的數(shù)據(jù)篩選和處理。

具體來說，研究團隊在模型「后訓(xùn)練」階段，開發(fā)了兩種全新的算法：

(1) 拒絕抽樣的微調(diào)算法，使用多個教師模型作為參考，對模型輸出進行過過濾和微調(diào)

(2) 人類反饋強化學(xué)習(xí)算法，結(jié)合使用了鏡像下降策略優(yōu)化，以及留一法優(yōu)勢估計器（leave-one-out advantage estimator）新技術(shù)。

結(jié)果發(fā)現(xiàn)，這兩種算法可以顯著提升模型指令跟隨的質(zhì)量。

圖片

優(yōu)化

另外，蘋果還采用了一系列創(chuàng)新技術(shù)，在設(shè)備端和私有云上優(yōu)化模型的速度和效率。

他們對第一個token推理和擴展token推理的性能都進行了大量的優(yōu)化。

無論是設(shè)備端模型還是服務(wù)器端模型，都采用了「分組查詢注意力機制」（grouped-query-attention）。

蘋果還使用了共享的輸入和輸出詞表，以減少內(nèi)存需求和推理成本。這些共享的嵌入張量在映射時不會產(chǎn)生重復(fù)。

設(shè)備端模型的詞表大小為49k token，而服務(wù)器端模型的詞表大小為100k token。

對于設(shè)備內(nèi)推理，他們還是用了「低比特量化」（low-bit palletization）的技術(shù)，能滿足所需的內(nèi)存、功耗和性能要求。

為了保持模型輸出質(zhì)量，研究團隊開發(fā)了一種新框架——使用LoRA adapter，并采用了混合2位和4位的配置策略，平均每個權(quán)重占3.5位——從而達到與未壓縮模型相同的精度水平。

此外，他們還使用了一種名為「Talaria」模型，可以對模型的延遲和功耗進行交互式分析，更好地指導(dǎo)在不同操作中選擇合適的量化精度。

蘋果基礎(chǔ)模型還采用了激活值量化和嵌入量化技術(shù)，并且開發(fā)了一種在蘋果神經(jīng)網(wǎng)絡(luò)引擎上高效更新鍵值緩存的方法。

值得一提的是，通過以上優(yōu)化，iPhone 15 Pro可實現(xiàn)每個提示token首次輸出的延遲約為0.6毫秒，生成速率為每秒30個token。

這一性能實現(xiàn)，并未采用token猜測技術(shù)，如若開啟，速度將會更近一步提升。

模型自適應(yīng)

蘋果基礎(chǔ)模型針對用戶日常任務(wù)進行了微調(diào)，并且能夠根據(jù)實時任務(wù)完成動態(tài)化適應(yīng)。

這一過程實現(xiàn)，是借助適配器，即一些可以插入到預(yù)訓(xùn)練模型各層的小型神經(jīng)網(wǎng)絡(luò)模塊，對模型進行特定任務(wù)的微調(diào)。

通過調(diào)整適配器中注意力相關(guān)的參數(shù)和前饋網(wǎng)絡(luò)的參數(shù)，可以讓整個LLM的行為專門化到特定任務(wù)上。

圖片

性能與評估

針對總結(jié)功能的評估中，蘋果與微軟Phi-3-mini小模型進行了對比。

可以看得出，不論是在郵件、還是通知中，蘋果設(shè)備端30億參數(shù)的模型在「優(yōu)秀」和「差」的生成中更占優(yōu)勢。

圖片

蘋果還將自家模型，與開源模型（Phi-3、Gemma、Mistral、DBRX）和商業(yè)模型（GPT-3.5-Turbo、GPT-4-Turbo）進行了比較。

結(jié)果發(fā)現(xiàn)，人類評估者更傾向于蘋果模型輸出的結(jié)果。

在這個基準測試中，30億參數(shù)設(shè)備端模型的表現(xiàn)甚至超過了更大的模型，如Phi-3-mini、Mistral-7B和Gemma-7B。

而服務(wù)器端模型在性能上，甚至可與DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相媲美，同時效率極高。

圖片

對于模型輸出危害評估，蘋果模型比率最低，說明輸出有毒內(nèi)容較少。

圖片

與此同時，蘋果模型在安全提示的評估中，設(shè)備端模型完全碾壓Phi-3-mini、Mistral-7B，服務(wù)端模型打敗了DBRX-Instruct、Mixtral-8x22B。

圖片

在指令跟隨（IFEval）基準上，與其他模型相比，蘋果模型展現(xiàn)出了強大的能力。

圖片

最后一個是寫作基準，終端上的蘋果基礎(chǔ)模型，是性能最優(yōu)的。在服務(wù)器端，作文方面的能力還是不如GPT-4 Turbo。

圖片

二代VisionOS更新，蘋果頭顯月底登陸中國

據(jù)上次發(fā)布Vision Pro和Vision OS剛剛過去4個月，蘋果就又在WWDC上宣布了Vision OS的重大更新。

而且，還有讓中國用戶更加激動的消息——

庫克在發(fā)布會上正式官宣，Vision Pro 將于6月28日登陸中國市場，將于本周五（6月14日）開始接受預(yù)定，國行價格為29999元起。

圖片

Vision Pro中的照片App集成了空間計算技術(shù)，戴上就可以瀏覽「3D」照片，讓你有走進照片、「重現(xiàn)過去」的感覺。

最新的iPhone 15 Pro和Max的后置鏡頭已經(jīng)可以拍攝空間影像，蘋果也和佳能合作為專業(yè)照相機開發(fā)了空間鏡頭。

圖片

那以前拍攝的傳統(tǒng)平面照片呢？

自然也不能落下。Vision Pro集成的機器學(xué)習(xí)模型，可以將照片從單視角變?yōu)殡p眼視角，還能添加圖像深度，瞬間2D變3D。

圖片

之前的Vision Pro已經(jīng)可以和Mac集成，蘋果這次決定升級Vision中的虛擬屏幕，同時提高分辨率和屏幕寬度。

今年的更新后，一個Vision Pro相當于電腦的兩個4k外接屏幕，動態(tài)注視點技術(shù)讓你無論從哪個角度看屏幕都無比清晰。

圖片

而且，這個虛擬屏可以隨時打開，比如「旅行模式」可以讓你在飛機上隨時大屏追劇或私密辦公。

圖片

Vision Pro想要變得越來越好用，讓以上這些功能走入現(xiàn)實，不能少了開發(fā)者的App和創(chuàng)作者的優(yōu)質(zhì)內(nèi)容。

目前已經(jīng)有超過2000個專門為Vision Pro開發(fā)App，以及其他1.5萬個兼容VisionPro的手機或平板應(yīng)用。

這次Vision Pro的更新也包括了各種服務(wù)于開發(fā)者的API：

- 3D空間內(nèi)的多任務(wù)處理器Volumetric（可以說是Vision Pro上的Stage Manager）

- 讓應(yīng)用錨定在各種平面上的TableTopKit

- Enterprise API讓企業(yè)可以定制各種復(fù)雜應(yīng)用

圖片

比如使用TableTopKit開發(fā)棋牌游戲，讓棋盤錨定在桌面上，加上顯示在空間中的FaceTime的頭像，下棋的體驗就更加沉浸式了。

圖片

去年Vision Pro發(fā)布了Apple Immersive Video，經(jīng)過今年的再次更新，蘋果始終萎靡不振的內(nèi)容產(chǎn)業(yè)很可能要翻盤了。

現(xiàn)在它的手里掌握著各路流媒體都不具有的空間影像技術(shù)。180度視角的8k視頻加上高品質(zhì)的音效，達到了甚至超越3D影院的逼真體驗。

圖片

而且這次的發(fā)布非常垂直，打包了3D空間視頻的全產(chǎn)業(yè)鏈。

對于業(yè)余愛好者，拍攝可以用iPhone或與蘋果合作的佳能相機，剪輯可以用Mac自帶的Final Cut Pro，觀看可以用Vision OS中的Vimeo。

在專業(yè)創(chuàng)作領(lǐng)域，蘋果和創(chuàng)意視頻公司Black Magic Design合作，從攝像機到剪輯、后期軟件全覆蓋，今年晚些時候就會發(fā)布。

圖片

此外，蘋果還和多方合作，制作原創(chuàng)的Apple Immersive Video并發(fā)布在Apple TV中。

合作方在內(nèi)容領(lǐng)域都是大名鼎鼎，包括頂級歌手The Weekend、奧斯卡獎導(dǎo)演Edward Berger，以及與紅牛制作的極限運動系列。

參考資料：

https://developer.apple.com/videos/play/wwdc2024/101/

https://machinelearning.apple.com/research/introducing-apple-foundation-models