就在刚刚，谷歌扔下“震撼弹”。

北京时间2月21日晚21点，美国科技巨头谷歌（Google）宣布推出全球性能最强大、轻量级的开源模型系列Gemma，分为2B（20亿参数）和7B（70亿）两种尺寸版本，2B版本甚至可直接在笔记本电脑上运行。

谷歌表示，Gemma采用与 Gemini 模型相同的研究和技术，由Google DeepMind 和谷歌其他团队开发，专为负责任的 AI开发而打造。谷歌声称，Gemma 模型18个语言理解、推理、数学等关键基准测试中，有11个测试分数超越了Meta Llama-2等更大参数的开源模型。

平均分数方面，Gemma -7B 的基准测试平均分高达56.4，远超过Llama-13B（52.2）、Mistral-7B（54.0），成为目前全球最强大的开源模型。

请输入图说

谷歌和Alphabet公司CEO 桑达尔·皮查伊（Sundar Pichai）表示，Gemma展示了强大的性能，从今天开始，该模型将在全球范围内提供，并可在笔记本电脑、工作站或谷歌云上运行。

Google DeepMind CEO Demis Hassabis表示，轻量开源的Gemma是同类尺寸中性能最佳的模型。

如今，谷歌不仅将对手瞄向OpenAI，而且打算占据一切，新模型将比扎克伯格的Llama-2“遥遥领先”。

性能超越Llama-2开源模型，谷歌Gemma为何那么强？

自Gemini发布至今，谷歌持续在 AI 方面“狂飙”。

2023年12月，谷歌推出全球最强大、最通用的多模态通用大模型：Gemini，中文称“双子座”，共包括三个不同尺寸版本：Ultra（超大杯）、Pro（大杯）和Nano（中杯），全面内置最新、最强大的自研 AI 超算芯片Cloud TPU v5p。

谷歌表示，在六项基准测试中，Gemini Pro性能表现优于GPT-3.5；而在30项性能基准测试中，Gemini Ultra超越了目前最强模型GPT-4，甚至在数学、物理、法律等57个领域测试中成为全球第一个超越人类专家水平的 AI 模型。

如此强大的 AI 技术，谷歌必然要持续推进。

所以，谷歌不仅统一了 AI 人才和算力资源，而且全力投资Gemini。今年1月，谷歌宣布全球一项大模型基准测试中Gemini超越GPT-4；2月，谷歌宣布对标ChatGPT的 AI 聊天机器人平台Google Bard更名为Gemini，并推出安卓版本的独立App，以及发布史上性能和功能最强大的Gemini Ultra 1.0模型等。

然而，2月中旬Gemini 1.5发布的同时，OpenAI全新视频生成模型Sora突然亮相，一经面世瞬间成为顶流，话题热度只增不减。所有人都在讨论Sora为行业带来的改变，但这让谷歌在 AI 领域的努力一下子“黯然失色”。

仅过了不到半个月，如今，谷歌卷土重来，正式推出全球最强大的开源模型Gemma。

相比ChaGPT和Gemini，Gemma可能更适合较小规模的任务，例如简单的 AI 聊天或摘要。

谷歌表示，Gemma其灵感来自于此前谷歌发布的Gemini大模型，名字在拉丁语中意为“宝石”。

具体来说，谷歌此次主要展示Gemma模型架构、性能表现、自研芯片、训练基础设施、软件工具、碳减排、安全和评估、负责任等多个方面的努力。

其中，模型架构方面，Gemma基于谷歌Gemini模型以及Transformer自注意力机制的深度学习技术研发，Gemma 2B 和 7B 分别针对来自网络文档、数学和代码的 2T 和 6T 规模英文标注数据进行训练。与Gemini 不同，这些模型不是多模式的，也没有针对多语言任务的最先进性能进行训练。

不仅如此，Gemma还使用了改进后的多头注意力、RoPE嵌入、GeGLU激活函数等新的技术，旨在文本领域实现通用能力，同时具备最先进的理解和推理技能。

性能表现方面，根据技术文件，Gemma在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Llama-13B或Mistral-7B等模型。

自研芯片方面，谷歌Gemma使用自研 AI 加速芯片TPUv5e进行训练。其中7B模型在16个Pods上训练，2B模型在2个Pods上训练，每个 Pod 可占用的 256 个芯片更少，v5e 经过优化，可以成为转换器、文本到图像和卷积神经网络 (CNN) 训练、微调和服务的最大价值产品。

而通过TPUv5e，Gemma模型可在文本领域实现强大的通用能力，同时具备最先进的理解和推理技能。

值得一提的是，谷歌今天还宣布与英伟达（NVIDIA）展开合作。这意味着，Gemma不止使用TPUv5e芯片，而且使用NVIDIA GPU 来优化 Gemma 模型。

软件工具层面，谷歌发布了全新 AI 软件工具包，名为Responsible Generative AI Toolkit，从而帮助开发者和研究人员优先构建安全和负责任的 AI 应用。此外，Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多个框架工具，并支持基于 Google Cloud 的优化，以及在笔记本电脑、台式机、物联网、移动设备和云端等多个跨设备中兼容，从而让Gemma实现推理和微调。

除了上述提及的层面，谷歌还在碳减排、安全和评估、负责任等方面有新的进展。其中，预训练Gemma模型的碳排放量大大减少，约为131000吨二氧化碳；同时Gemma使用过滤后的预训练数据集，以减少不安全内容的风险；以及通过监督式微调和基于人类反馈的强化学习（RLHF）进行微调。

谷歌表示，在人类偏好评估中，Gemma在遵循指令和基本安全协议方面的表现优于Mistral v0.2 7B Instruct模型。

另外，Google DeepMind采取结构化的方法来确保模型的负责任开发和部署，包括评估潜在的社会影响。

谷歌 DeepMind 产品管理总监 Tris Warkentin 表示，由于担心开放模型存在部分风险，该公司“对 Gemma 进行了更广泛的红队（专家、开发者等内部对抗性测试的外部团队）”，从而提前挖掘出了更多 AI 系统存在的缺陷和风险。