在 Google ，我們致力于??讓 AI 助力每個(gè)人??。長(zhǎng)期以來(lái)，我們對(duì)開(kāi)放社區(qū)的創(chuàng)新貢獻(xiàn)了許多成果，如  Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode。今天，我們很高興地介紹 Google 的新一代開(kāi)放模型，以協(xié)助開(kāi)發(fā)者和研究人員負(fù)責(zé)任地構(gòu)建 AI。

開(kāi)放模型 Gemma

Gemma 是先進(jìn)的輕量級(jí)開(kāi)放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。受到 Gemini 的啟發(fā)，Google DeepMind 和 Google 其他團(tuán)隊(duì)合作開(kāi)發(fā)了 Gemma，并用拉丁語(yǔ)中意為“寶石”的 gemma 為其命名。在發(fā)布模型權(quán)重的同時(shí)，我們還推出了一系列工具，旨在支持開(kāi)發(fā)者創(chuàng)新，促進(jìn)合作，并指導(dǎo)如何負(fù)責(zé)任地使用 Gemma 模型。

從今天起，Gemma 在全球范圍內(nèi)開(kāi)放使用。以下是有關(guān)該模型的關(guān)鍵細(xì)節(jié)：

• 我們將發(fā)布兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本。
• 新的 Responsible Generative AI Toolkit 為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用程序提供指導(dǎo)和必備工具。
• 我們通過(guò)原生 Keras 3.0 為所有主要框架（JAX、PyTorch 和 TensorFlow）提供推理和監(jiān)督微調(diào)（SFT）的工具鏈。
• 上手即用 Colab 和 Kaggle notebooks，以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具集成，讓開(kāi)始使用 Gemma 變得簡(jiǎn)單容易。
• 經(jīng)過(guò)預(yù)訓(xùn)練和指令微調(diào)的 Gemma 模型可以在您的筆記本電腦、工作站或 Google Cloud 上運(yùn)行，并可輕松部署在 Vertex AI 和 Google Kubernetes Engine（GKE）上。
• 基于多個(gè) AI 硬件平臺(tái)進(jìn)行優(yōu)化，確保業(yè)界領(lǐng)先的性能表現(xiàn)，其中包括 NVIDIA GPUs 和 Google Cloud TPUs。
• 使用條款允許所有組織（無(wú)論規(guī)模大?。┴?fù)責(zé)任地進(jìn)行商用和分發(fā)。

同等規(guī)模最領(lǐng)先的性能

Gemma 模型與我們規(guī)模最大、能力最強(qiáng)的 AI 模型 Gemini 共享技術(shù)和基礎(chǔ)架構(gòu)。這使得 Gemma 2B 和 7B 與其他開(kāi)放模型相比，展現(xiàn)出同等規(guī)模最先進(jìn)的性能。同時(shí)，Gemma 可以直接在開(kāi)發(fā)者的筆記本電腦或臺(tái)式機(jī)上運(yùn)行。值得注意的是，Gemma 在關(guān)鍵基準(zhǔn)測(cè)試集上大大超過(guò)了更大的模型，同時(shí)還嚴(yán)格遵守了我們對(duì)安全和負(fù)責(zé)任輸出的標(biāo)準(zhǔn)。有關(guān)性能、數(shù)據(jù)集對(duì)比和建模方法的詳細(xì)信息，請(qǐng)參見(jiàn)技術(shù)報(bào)告。

負(fù)責(zé)任的設(shè)計(jì)

Gemma 在設(shè)計(jì)時(shí)將我們的 AI 原則放在首位。為了使 Gemma 預(yù)訓(xùn)練模型安全可靠，我們使用自動(dòng)技術(shù)，從訓(xùn)練集中過(guò)濾掉特定的個(gè)人信息及其他敏感數(shù)據(jù)。此外，我們進(jìn)行了大量的微調(diào)和人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF），使我們的指令微調(diào)模型與負(fù)責(zé)任的行為保持一致。為了解并降低 Gemma 模型帶來(lái)的風(fēng)險(xiǎn)，我們進(jìn)行了強(qiáng)有力的評(píng)估，包括手工紅隊(duì)測(cè)試、自動(dòng)對(duì)抗性測(cè)試，以及對(duì)危險(xiǎn)活動(dòng)的模型能力評(píng)估。我們?cè)?Model Card 中闡述了這些評(píng)估。

我們與 Gemma 一道發(fā)布了新的 Responsible Generative AI Toolkit，幫助開(kāi)發(fā)者和研究人員優(yōu)先構(gòu)建安全和負(fù)責(zé)任的 AI 應(yīng)用。這些工具包括：

• 安全分類(lèi)：我們提供了一種新的方法，可利用最少的樣品來(lái)構(gòu)建穩(wěn)定的安全分類(lèi)器。
• 調(diào)試工具：模型式調(diào)式工具幫助你了解  Gemma 的行為，并解決潛在的問(wèn)題。
• 應(yīng)用指南：你可以根據(jù) Google 在開(kāi)發(fā)和部署大型語(yǔ)言模型方面的經(jīng)驗(yàn)，獲取模型構(gòu)建者的最佳實(shí)踐。

跨框架、工具和硬件的優(yōu)化

您可以基于自己的數(shù)據(jù)微調(diào) Gemma 模型以適應(yīng)特定應(yīng)用需求，例如摘要或檢索增強(qiáng)生成 (RAG)。Gemma 可支持多種工具和系統(tǒng)：

• 多框架工具：Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個(gè)框架的參考實(shí)現(xiàn)，您可以選擇熟悉的框架進(jìn)行推理和微調(diào)。
• 跨設(shè)備兼容：Gemma 模型可以在筆記本電腦、臺(tái)式機(jī)、物聯(lián)網(wǎng)、移動(dòng)設(shè)備和云端等多個(gè)主流設(shè)備類(lèi)型上運(yùn)行，支持廣泛的 AI 功能。
• 前沿的硬件平臺(tái)： 我們與 NVIDIA 合作，使用 NVIDIA GPU 來(lái)優(yōu)化 Gemma 模型，確保業(yè)界領(lǐng)先的性能與前沿技術(shù)的整合應(yīng)用。
• 基于 Google Cloud 的優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集，其中包含一系列微調(diào)選項(xiàng)和內(nèi)置推理優(yōu)化的一鍵部署功能。您可以使用完全托管的 Vertex AI 工具或自行管理的 GKE 來(lái)進(jìn)行高級(jí)定制，以經(jīng)濟(jì)高效的方式自行選擇部署在 GPU、TPU 或 CPU 基礎(chǔ)設(shè)施上。

免費(fèi)的積分來(lái)進(jìn)行研究和開(kāi)發(fā)

Gemma 為開(kāi)放社區(qū)構(gòu)建，旨在推動(dòng)開(kāi)發(fā)者和研究人員的 AI 創(chuàng)新。您可以通過(guò) Kaggle 的免費(fèi)訪問(wèn)權(quán)限、Colab notebooks 免費(fèi)層、以及 Google Cloud 新用戶可獲得的 300 美元積分立即開(kāi)始使用 Gemma。研究人員還可以申請(qǐng)高達(dá) 50 萬(wàn)美元的 Google Cloud 積分以加速他們的項(xiàng)目。

入門(mén)指南

您可以在 ai.google.dev/gemma 了解更多關(guān)于 Gemma 的信息并訪問(wèn)快速入門(mén)指南。

隨著 Gemma 模型系列的不斷擴(kuò)展，我們期待看到基于 Gemma 的多元化應(yīng)用出現(xiàn)。敬請(qǐng)關(guān)注未來(lái)幾周的活動(dòng)和機(jī)會(huì)，與我們進(jìn)行交流、學(xué)習(xí)并使用 Gemma  進(jìn)行開(kāi)發(fā)構(gòu)建。

我們很期待看到您的創(chuàng)新！

本文轉(zhuǎn)載自谷歌黑板報(bào)，作者：Jeanine Banks

原文鏈接：??https://mp.weixin.qq.com/s/jlZ8aBjiekMPVdbNUuxAVg??