DSMB-01C 谷歌开源70亿参数大语言模型，全方位超越Meta Llama-2？
发布日期： 2024-02-23 作者：
谷歌加入AI模型开源阵营，Gemma横空出世
根据谷歌的介绍，Gemma是由谷歌DeepMind以及其他团队开发，由Gemini启发并采用了相同的研究与技术的轻量级模型。与之一起发布的还有全新的响应式生成AI工具包，为利用Gemma创造更安全的AI应用提供关键工具和指导。
从参数大小上来看，Gemma分为20亿参数（Gemma 2B）和70亿（Gemma 7B）参数两个版本，且每个版本又有基础版（预训练）和指令调整版两个变体。其中70亿参数的版本适合消费级的GPU和TPU开发，而20亿参数的版本可以用于CPU和端侧应用上。
在预训练数据上，Gemma 2B和7B分别采用了2T和6T的Token进行训练，数据来源是以英文为主的网络文档、数学计算和代码。需要注意的是，尽管其背后所采用的技术与Gemini类似，但这些模型并不属于多模态模型，也并不适合用于追求极致的多语言任务性能。
在训练硬件上，谷歌采用了自研的TPUv5e，其中Gemma 7B用到了4096块TPUv5e进行训练，Gemma 2B用到了512块TPUv5e进行训练。
开源LLM混战，Gemma 7B超越Llama-2 13B？
根据谷歌官方提供的数据，与Meta的Llama-2相比，Gemma 7B在多个项目上展现出了优势，比如大规模多任务语言理解（MMLU）、GSM8K和Math计算和HumanEval Python代码生成等应用上，都超过了Llama-2 7B，甚至不少超过了Llama-2 13B。
扫一扫咨询微信客服
