马斯克的Grok 现已开源! 3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。
官网放出的信息如下——
- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
- 314B参数的MoE，有25%的权重在给定token上处于激活状态。
- 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。
一经上线GitHub，Grok就狂揽了8.2k星，834个Fork。
马斯克的Grok 现已开源! 3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。
官网放出的信息如下——
- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
- 314B参数的MoE，有25%的权重在给定token上处于激活状态。
- 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。
一经上线GitHub，Grok就狂揽了8.2k星，834个Fork。
这次xAI开源Grok-1，遵守的是Apache-2.0许可证，因此，用户可以自由使用、修改和分发软件。
项目地址：https://github.com/xai-org/grok-1
