AI 生產(chǎn)力的未來會是什么樣子？全世界都在等待微軟的答案。

5 月 22 日凌晨，微軟 Build 2024 開發(fā)者大會在美國西雅圖召開，今天的發(fā)布有關 AI 技術，更有關 AI 帶來的新工具。

「三十多年來，微軟對于計算機一直有兩個夢想 —— 首先是讓計算機理解我們，而不是我們?nèi)ダ斫庥嬎銠C；其次，在信息不斷增加的世界中，讓計算機幫助我們根據(jù)信息有效地進行推理、計劃和行動。人工智能浪潮已經(jīng)為我們的夢想找到了答案，」微軟 CEO 薩蒂亞?納德拉說道。

今天 Build 大會的內(nèi)容主要最新的 Copilot，適用于生成式 AI 的新形態(tài)硬件，以及使用新 AI 能力的工具堆棧。

當然，除了大量應用整合、與 AI 創(chuàng)業(yè)公司、硬件廠商的合作，還有微軟自研的全新 AI 大模型。

Copilot+PC，有專用端側(cè)模型

原生支持 PyTorch

首先是有關 PC 新形態(tài) Copilot+PC 的內(nèi)容。微軟表示，將于 618 上市的首批機型會搭載高通 Snapdragon X 系列處理器，在今年晚些時候?qū)⑼瞥龈嗷谟⑻貭柡?AMD 處理器的此類設備。

目前已推出的版本因為 NPU 擁有 40+ TOPS 的 AI 算力，運行 AI 工作負載的能力增強了 20 倍，效率提高了 100 倍。這樣的硬件基礎，讓 AI PC 絕不是接入云端的 GPT-4o 那么簡單，Windows 現(xiàn)在從三個層面提供 AI 體驗。

Windows Copilot 堆?，F(xiàn)在通過 Windows Copilot Runtime 擴展到了 Windows 上，人工智能對系統(tǒng)進行了自內(nèi)而外的改造，使開發(fā)人員能夠加速 Windows 上的人工智能開發(fā)。

納德拉表示，Windows Copilot Runtime 包含一組 API，由 Windows 附帶的 40 多個端側(cè) AI 模型提供支持，包括一種名為 Phi-Silica 的小語言模型（SLM），專為 Copilot+ PC 中的 NPU 設計。他們會被用于智能搜索、實時翻譯、圖像生成和處理等任務。

微軟表示，Phi-Silica 完全使用 NPU 進行推理，首個 token 輸出速度為 650 token/s，僅消耗約 1.5 瓦的電量，可以讓 CPU 和 GPU 同時用于其他計算任務。持續(xù)運行時，文本生成重用 NPU 中的 KV 緩存并在 CPU 上運行，每秒生成約 27 個 token。

微軟提出了 Windows 語義索引，這是一種新的操作系統(tǒng)功能，重新定義了 Windows 上的搜索并支持 Recall 等新體驗。稍后，微軟將向使用 Vector Embeddings API 的開發(fā)人員提供此功能，以便人們在應用程序中基于數(shù)據(jù)構(gòu)建自己的矢量存儲和 RAG。

新的 Copilot+PC 還自帶原生的人工智能框架和工具鏈，方便開發(fā)人員將自己的端側(cè)模型引入 Windows。微軟正式宣布通過 DirectML，PyTorch 和 Web 神經(jīng)網(wǎng)絡現(xiàn)在將在 Windows 上本地運行。這將為開發(fā)人員提供更多可用的工具，允許數(shù)千個 Hugging Face 模型在 Windows 上運行。NPU 也可以幫助這些工具比以往更快的速度完成任務。

就像 DirectX 之于圖形處理一樣，DirectML 是 Windows 中用于機器學習的高性能低級 API。DirectML 對微軟的獨立硬件供應商 （IHV）合作伙伴為 Windows 生態(tài)系統(tǒng)提供的不同硬件進行抽象，并支持 GPU 和 NPU，CPU 集成也即將推出。它集成了 AI 領域的相關框架，例如 ONNX Runtime、PyTorch 和 WebNN。

此外，Windows Subsystem for Linux（WSL）可以同時運行 Windows 和 Linux 工作負載，為 Windows 上的 AI 開發(fā)提供平臺。開發(fā)人員可以在不同環(huán)境之間輕松共享文件、GUI 應用程序、GPU 等，無需額外的設置。

昨天，微軟向世界介紹了全新的 Windows 11 AI PC，再加上今天在 Build 開發(fā)者大會上宣布的強大功能，Windows 正在成為極具開放性的 AI 平臺和開發(fā)者平臺。

這些進化，似乎會把開發(fā)者們瞬間從 Mac 上吸引過來。

Copilot 持續(xù)升級

開始卷團隊協(xié)作

接下來是一系列面向個人和團隊的 AI 生產(chǎn)力提升。

圍繞 AI 軟件開發(fā)能力，GitHub 推出首套由微軟和第三方合作伙伴開發(fā)的 GitHub Copilot 擴展，現(xiàn)已開啟受邀預覽。新增功能允許開發(fā)者、企業(yè)通過其偏好的服務（如 Azure、Docker、Sentry 等）直接在 GitHub Copilot 智能副駕駛 Chat 中定制其 GitHub Copilot 智能副駕駛體驗。

作為微軟推出的擴展功能之一，GitHub Copilot 智能副駕駛 for Azure 展示了如何利用自然語言和更廣泛的功能來提高開發(fā)速度。通過 Copilot 智能副駕駛 Chat 使用該擴展，開發(fā)者可以探索和管理 Azure 資源，同時排除故障、查找相關日志和代碼。

在本次大會上，微軟展示了 Copilot 如何提升組織的團隊協(xié)作和業(yè)務效率。納德拉主要介紹了以下三個升級：

• Team Copilot 將 Copilot 擴展到個人助理之外，為團隊工作，改善協(xié)作和項目管理。
• Agents：自定義 Copilot 使客戶能夠協(xié)調(diào)和自動化業(yè)務流程。
• Copilot 擴展（extensions）和 Copilot 連接器（connectors）使定制和擴展 Copilot 變得更加容易，以滿足特殊的業(yè)務需求。

Team Copilot

Team Copilot 使 Copilot 不再只是個人助理，而成為有價值的團隊成員，與其他成員一起參與并做出貢獻。當然，你全程掌控，將任務或職責分配給 Copilot，使得整個團隊共同提高效率、協(xié)作和創(chuàng)造力。

Team Copilot 可以在 Microsoft Teams、Microsoft Loop、Microsoft Planner 等協(xié)作應用中使用。

具體而言，Team Copilot 可以扮演以下三種角色。

一是會議主持人。Copilot 通過管理議程和記錄會議中共同撰寫的筆記，使會議中的討論更加富有成效。

小組協(xié)作者：Copilot 幫助每個人從聊天中獲得更多收獲，展示最重要的信息，跟蹤行動項目，并解決未解決的問題。

項目經(jīng)理：Copilot 通過創(chuàng)建和分配任務、跟蹤截止日期以及在需要團隊成員輸入時通知他們，確保每個項目順利進行。

這些功能將于 2024 年晚些時候，在預覽版中提供給擁有 Microsoft Copilot for Microsoft 365 許可證的客戶。

Agents

Agents 是可以實現(xiàn)業(yè)務流程自動化的全新自定義 Copilot。每個業(yè)務流程都有待提高效率和釋放新價值，并且每個流程都各不相同。

因此，微軟宣布 Microsoft Copilot Studio 推出新功能，可以構(gòu)建自定義 Copilot，作為 Agents 在客戶的指導下獨立工作。Agents 的功能包括如下：

• 實現(xiàn)長期運行的業(yè)務流程自動化
• 推理操作和用戶輸入
• 利用內(nèi)存引入上下文
• 根據(jù)用戶反饋進行學習
• 記錄異常請求并尋求幫助

如下為創(chuàng)建自定義 Copilot（即 Agents）的演示。

這些 Agents 功能可供搶先體驗計劃（Early Access Program）中的客戶使用。

此外，微軟通過 Copilot 擴展和 Copilot 連接器進一步豐富了 Copilot 的功能。

借助新的 Copilot 擴展，任何人都可以輕松地自定義 Copilot 操作并將 Copilot 擴展到他們的數(shù)據(jù)和業(yè)務線系統(tǒng)。開發(fā)人員可以使用 Copilot Studio 或 Teams Toolkit for Visual Studio 構(gòu)建這些擴展。

微軟還在 Copilot Studio 中引入了 Copilot 連接器，讓開發(fā)人員可以更輕松、更快速地創(chuàng)建 Copilot 擴展。

這一系列能力，可以讓開發(fā)者們更方便地把人工智能納入到自己的產(chǎn)品和服務體系中。

小模型 Phi-3 家族上新

多模態(tài) Phi-3-Vision 亮相

作為 OpenAI 最新發(fā)布的旗艦模型，GPT-4o 現(xiàn)可在 Azure AI Studio 中使用，也可作為 API 使用。這一開創(chuàng)性的多模態(tài)模型集成了文本、圖像和音頻處理，為生成式和對話式 AI 體驗設定了新標準。

微軟開發(fā)的 AI 小語言模型（SLMs）Phi-3 系列也發(fā)布了一款新的多模態(tài)模型 ——Phi-3-vision，并已可在 Azure 中使用。

開發(fā)者可在 Azure AI Playground 中體驗這些最先進的前沿模型，并能在 Azure AI Studio 中開始構(gòu)建和定制模型。

作為以創(chuàng)新智能手機和智能設備享譽全球的全球科技品牌，OPPO 正在將 Azure AI 語音轉(zhuǎn)文本（speech-to-text）、快速轉(zhuǎn)錄（Fast Transcription）和 Azure AI 文本轉(zhuǎn)語音（text-to-speech）技術在其新款智能手機上試點，以期為客戶帶來全新體驗。

Phi-3 模型家族現(xiàn)有四個模型，每個模型都根據(jù)微軟負責任的 AI、安全標準進行指令調(diào)整和開發(fā)，以確?？梢灾苯邮褂?。

• Phi-3-vision 是一個具有語言和視覺功能的 4.2B 參數(shù)多模態(tài)模型，支持 128K 上下文長度。
• Phi-3-mini 是一個具有 3.8B 參數(shù)的語言模型，支持 128K 和 4K 兩種上下文長度。
• Phi-3-small 是一個具有 7B 參數(shù)的語言模型，支持 128K 和 8K 兩種上下文長度。
• Phi-3-medium 是一個具有 14B 參數(shù)的語言模型，支持 128K 和 4K 兩種上下文長度。

其中，Phi-3-vision 是 Phi-3 家族中的第一個多模態(tài)模型，它將文本和圖像結(jié)合在一起，并能夠推理現(xiàn)實世界的圖像以及從圖像中提取和推理文本。該模型還針對圖表理解進行了優(yōu)化，可用于生成見解和回答問題。

Phi-3-vision 以 Phi-3-mini 的語言功能為基礎，繼續(xù)在小模型中整合強大的語言和圖像推理質(zhì)量。如下圖所示，Phi-3-vision 可以從圖表和圖解中生成見解。

Phi-3-small 和 Phi-3-medium 的表現(xiàn)優(yōu)于同等規(guī)模以及規(guī)模更大的語言模型。

7B 參數(shù)的 Phi-3-small 在各種語言、推理、編碼和數(shù)學基準測試中擊敗了 GPT-3.5 Turbo。

14B 參數(shù)的 Phi-3-medium 延續(xù)了這一趨勢，并且表現(xiàn)優(yōu)于 Gemini 1.0 Pro。

4.2B 參數(shù)的 Phi-3-vision 在一般視覺推理任務、OCR、表格和圖表理解任務中，表現(xiàn)優(yōu)于 Claude-3 Haiku 和 Gemini 1.0 Pro V 等更大的模型。

當然，Phi-3-vision 模型是開源的。

Hugging Face 地址：https://huggingface.co/microsoft/Phi-3-vision-128k-instruct

這一模型的發(fā)布令研究者們興奮不已，有人已經(jīng)開始暢想其在機器人領域的應用了。

從 Phi-3 到 Phi-Silica，我們可以看到微軟對大模型的探索聚焦于應用，與自己支持的 OpenAI 區(qū)分了生態(tài)位。

最強氣氛組 ——OpenAI CEO 奧特曼

在微軟官宣了一系列更新后，OpenAI CEO 奧特曼也來到了活動現(xiàn)場以示支持。他鼓勵開發(fā)者和初創(chuàng)公司利用當前的人工智能熱潮，認為這是自移動設備繁榮甚至互聯(lián)網(wǎng)出現(xiàn)以來最令人興奮的時刻。

在模型方面，奧特曼透露，未來，GPT-4o 將變得更快，但更便宜。他還很高興地預告，下一個大模型即將問世。微軟為這項工作建造了一臺更大的超級計算機（如同虎鯨一樣規(guī)模的超算）。

奧特曼暗示，新的模態(tài)和整體智能將是 OpenAI 下一個模型的關鍵?！缸钪匾囊稽c，聽起來也是我能說的最無聊的一點...... 模型會變得越來越智能，總的來說是全面智能?！?/span>

不過，他也指出，新技術并不能讓開發(fā)人員擺脫艱苦的工作。這項工作還有待完成。開發(fā)者必須弄清楚如何讓這些技術對人們有用。他說，最好不要忘記，將這些新技術帶入生活并不容易。