马斯克的Grok 现已开源! 3140亿的参数,让Grok-1成为迄今参数量最大的开源LLM,是Llama 2的4倍。

官网放出的信息如下——

- 基础模型在大量文本数据上训练,未针对任何特定任务进行微调。

- 314B参数的MoE,有25%的权重在给定token上处于激活状态。

- 2023年10月,xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。

一经上线GitHub,Grok就狂揽了8.2k星,834个Fork。

AI行业动态 2024-03-17 浏览:479 评论:0