马斯克的Grok 现已开源! 3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。

官网放出的信息如下——

- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。

- 314B参数的MoE，有25%的权重在给定token上处于激活状态。

- 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。

一经上线GitHub，Grok就狂揽了8.2k星，834个Fork。

AI行业动态 2024-03-17 浏览:1173 评论:0