撰稿 | 云昭
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
臨近年末，生成式AI的“驚艷”速度遠遠超過了人們“野望”它的速度。比如炙手可熱的Midjourney推出了再度炸街的V6版本，再比如謠傳月底即將發(fā)布的GPT4.5、谷歌的多模態(tài)模型Gemini發(fā)布等等。
然而，Apple看似在這一年里顯得格外低調(diào)，沒有像谷歌那樣硬剛OpenAI的GPT4，也沒有像微軟或亞馬遜那樣高調(diào)的將大模型搞進“云”。
但今天大家才明白，Apple搞的事情，卻是決定成敗的“最后一公里”的事情：讓大模型高效地跑在iPhone的內(nèi)存上！
1、大模型，在閃存中
Apple亮出劍鋒，在20日發(fā)表了一篇很硬核的在手機內(nèi)存上運行大模型的論文（《LLM在閃存中：內(nèi)存有限的高效大型語言模型推理》），在文中構(gòu)建了一個可以大大擴展LLM適用性和普及性的研究框架，該框架以閃存為基礎(chǔ)進行推理，并在兩個關(guān)鍵領(lǐng)域進行了優(yōu)化：減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量，讀取更大、更連續(xù)的數(shù)據(jù)塊。
圖片
那么，Apple是如何做到的呢？它采用了兩種主要技術(shù)：
首先，“窗口化”通過重復(fù)使用先前激活的神經(jīng)元來戰(zhàn)略性地減少數(shù)據(jù)傳輸。
其次，根據(jù)閃存的時序數(shù)據(jù)的訪問強度量身定制“行-列綁定”技術(shù)，從而增加了從閃存讀取的數(shù)據(jù)塊的大小。
圖片
看不懂不重要，重要的是極大擴大了在手機上運行大模型的參數(shù)大小，以及加快了模型的推理速度，具體而言：
這兩種方法共同實現(xiàn)了運行高達可用DRAM兩倍大小的模型，與CPU和GPU中的原始加載方法相比，推理速度分別提高了4-5倍和20-25倍。
這也就意味著，將大模型搬到手機中，基本上算是板上釘釘?shù)氖虑榱耍pple正在積攢新的AI黑科技，從芯片、到存儲、再到模型和應(yīng)用，Apple一改緩慢姿態(tài)，殺招即將亮出！且讓我們看看Apple的近期動作。
2、 Apple的自研大模型怎么樣了
GPT4的發(fā)布，讓整個科技行業(yè)從興奮到狂熱，只有Apple這家科技巨頭貌似“心靜如水”。
然而，即使Apple首席執(zhí)行官庫克一度公開表示：對于蘋果公司多年來一直致力于生成式AI，但稀少的成果報道無疑加重了蘋果內(nèi)部人員在猝不及防之間，對于技術(shù)重大延遲的焦慮感。
此前就有消息報道，7月，蘋果發(fā)布了自己的大型語言模型Ajax（基于谷歌的JAX），并引入了一個名為“Apple GPT”的內(nèi)部聊天機器人進行測試。目前，該聊天機器人程序主要用于產(chǎn)品的原型設(shè)計，只有少數(shù)有權(quán)限的人才能訪問。
然而，這項技術(shù)是否能與現(xiàn)有產(chǎn)品競爭，以及蘋果如何將其有效地集成到其產(chǎn)品中，依舊有待評估。
3、Apple在開局落后的原因
首先是投入成本高昂。據(jù)MacRumors稱，蘋果在對話式人工智能研究上的花費，高達每天數(shù)百萬美元，因為訓(xùn)練語言模型需要大量硬件投入。
此外，出于對消費者隱私和AI偏見的問題，蘋果正在思考如何在尊重客戶隱私承諾的前提下使用和處理個人數(shù)據(jù)。
當(dāng)然，不得不提的是由于擔(dān)心內(nèi)部數(shù)據(jù)泄露的問題，前期該公司也限制了員工對于AI工具的使用。
不過好在，Apple也不是沒有積累，據(jù)供應(yīng)鏈數(shù)據(jù)顯示，Apple可能會在2023年建造數(shù)百個人工智能服務(wù)器，而明年的建設(shè)數(shù)量將會更多。
4、加速的Apple，虎狼之師
不過，既然“大模型+應(yīng)用”的打法一時陷入困局，“設(shè)備+大模型”更像是蘋果的不二選擇。
在繁榮時期的相對被動并不影響蘋果憑借自身強大壁壘的厚積薄發(fā)，大概在10月左右，蘋果似乎開始改變了其在生成式AI時代下的新打法：
在其所有設(shè)備上開發(fā)生成式AI功能，包括iOS、Siri和其他應(yīng)用程序。
最先曝出驚喜的是，11月，開發(fā)人員在搭載M3系列的芯片的14英寸MacBook Pro上無縫地運行最大的開源GPT模型（具有1800億個參數(shù)的Falcon），而且質(zhì)量損失很低。同時還聲稱，其增強的神經(jīng)引擎有助于加速強大的機器學(xué)習(xí)（ML）模型，同時保護隱私。
這讓AI開發(fā)者們自然合不攏嘴。此外，蘋果公司在其博客文章中表示：“該版本的MacBook支持高達128GB的內(nèi)存，可以解鎖以前在筆記本電腦上無法實現(xiàn)的工作流程?！?/p>
圖片
Apple的“生成式人工智能計劃”由高級副總裁John Giannandrea和Craig Federighi領(lǐng)導(dǎo)。蘋果公司服務(wù)主管Eddy Cue也參與其中，三人計劃每年為此投資約10億美元。
Giannandrea的團隊負責(zé)開發(fā)新人工智能系統(tǒng)的底層技術(shù)，同時還正在對Siri進行重大改革，致力于使其更加智能，最早可能在明年發(fā)布改進版。
但值得一提的是，由于Siri的構(gòu)建的“繁瑣設(shè)計”，蘋果可能需要相當(dāng)長的時間來更新數(shù)據(jù)庫以支持新功能。一位前工程師表示，每次添加新短語需要重建Siri數(shù)據(jù)庫，可能需要長達六周的時間，而添加搜索工具等更復(fù)雜的功能可能需要一年以上的時間。
Federighi的軟件工程團隊正在將人工智能融入下一版本的iOS18，重點是使用大型語言模型來增強Siri和消息應(yīng)用程序的功能。
蘋果的軟件工程團隊正在探索將生成性人工智能集成到Xcode等開發(fā)工具中，這可以幫助應(yīng)用程序開發(fā)人員更高效地編寫應(yīng)用程序。
此外，Cue的團隊正在努力為盡可能多的蘋果應(yīng)用程序添加人工智能功能，包括Apple Music、Pages、Keynote和Xcode等生產(chǎn)力應(yīng)用程序。
如果計劃順利，上述所有這些Apple的人工智能，可能會在2024年底前完成。
5、Apple：GenAI的部署之爭
圍繞生成式AI能力部署的追趕，似乎有三條路徑：基于設(shè)備，基于云端，還是混合？
蘋果內(nèi)部正在進行的一場辯論，基于設(shè)備上的部署，會更加優(yōu)先考慮速度和隱私，而基于云的方法，則將實現(xiàn)更上層、更高級的操作。在這些部署方法之間的選擇至關(guān)重要，因為蘋果的目標是在快速發(fā)展的生成人工智能領(lǐng)域保持競爭力。
不過目前看來，蘋果選擇了混合選項。
6、 2024，邊緣AI之戰(zhàn)
一時間，智能手機端搭配AI有望成為新賣點。而端側(cè)部署生成式AI能力，或者說邊緣AI的好處不言而喻——
個人信息無需上傳云端，隱私泄露和數(shù)據(jù)安全風(fēng)險降低；AI模型接入本地數(shù)據(jù)庫和個人信息，有望實現(xiàn)更加個性化定制小模型，提供更個性的用戶服務(wù)；通過軟硬件適配，邊緣AI降低運行成本、加快響應(yīng)速度和提高服務(wù)效率。
因此，除了蘋果，著急在生成式AI發(fā)力的手機廠商同樣不少。
剛過去的11月，三星推出了自己的設(shè)備大模型“Gauss”。據(jù)報道，Gauss將被納入即將推出的Galaxy S24智能手機中，該手機定于2024年初發(fā)布。
該公司打算將這種語言模型集成到手機、筆記本電腦和平板電腦等設(shè)備中，以增強其智能設(shè)備的功能。
此外，谷歌還宣布了其名為Gemini Nano的設(shè)備LLM，將在即將推出的谷歌Pixel 8手機中推出，提供錄音機應(yīng)用程序中的匯總和Gboard中的智能回復(fù)等功能。
視線拉回國內(nèi)，8月小米首次在手機上跑通了13億參數(shù)的大模型；10月榮耀CEO趙明表官宣新機將會搭載全新驍龍8Gen3以及榮耀自研的7B端側(cè)AI大模型；11月，vivo 發(fā)布搭載了藍心大模型的x100系列手機，落地終端側(cè)70億參數(shù)大語言模型，跑通端側(cè)130億參數(shù)模型，并稱這是全球首個百億大模型在終端調(diào)通的大模型手機。
根據(jù)市場調(diào)查機構(gòu)Counterpoint Research近日發(fā)布的《生成式AI智能手機出貨量洞察》報告，預(yù)估2024年會成為生成式AI智能手機的關(guān)鍵元年，預(yù)估出貨量將達到1億臺，到2027年將達到5.22億臺。
7、寫在最后：讓手機廠商卷起來吧
可以說，端側(cè)大模型，或者說邊緣AI的號角，已經(jīng)在年末吹響了。
Robin那句“卷大模型沒意義”非常nice。有足夠應(yīng)用市場的技術(shù)產(chǎn)品才能推動整個社會的進步。與其說大模型需要變小，不如說大模型需要一種與之相匹配的硬核載體。
目前看，端側(cè)/邊緣AI，似乎成為了移動互聯(lián)網(wǎng)時代的拐點之戰(zhàn)。大家一起期待AI手機的到來吧！
參考鏈接：
https://analyticsindiamag.com/samsung-announces-gauss-on-device-generative-ai/
https://analyticsindiamag.com/apple-optimises-llms-for-edge-use-cases/
