马斯克的 AI 公司 xAI 开放 3140 亿参数混合专家模型 Grok-1

据 PANews 报道,马斯克的人工智能公司 xAI 宣布开放其 3140 亿参数混合专家模型 Grok-1 的权重和架构。Grok-1 是一个由 xAI 从头开始训练的大型

2024-03-18 08:53:42   作者:  Alexandre

据 PANews 报道,马斯克的人工智能公司 xAI 宣布开放其 3140 亿参数混合专家模型 Grok-1 的权重和架构。Grok-1 是一个由 xAI 从头开始训练的大型语言模型,采用混合专家模型架构,其中 25% 的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据 Apache 2.0 许可证开放。Grok-1 的预训练阶段已于 2023 年 10 月结束,目前发布的是原始基础模型检查点,未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照 github.com/xai-org/grok 上的指南操作。

查看原始新闻

登录或注册发表您的评论

可能感兴趣的贴文

马斯克的AI公司xAI正式公开Grok-1源代码
PANews 3月18日消息,马斯克的人工智能公司xAI宣布开放其3140亿参数混合专家模型Grok-1的权重和架构。Grok-1是一个从头开始由xAI训练的大型语言模型,采用混合专家模型架构,其中25%的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据Apache 2.0许可证开放。Grok-1的预训练阶段已于2023年10月结束,目前发布的是原始基础模型检查点,未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照github.com/xai-org/grok上的指南操作。……
PRIME 短线突破 27 USDT,创历史新高
据Odaily星球日报报道,Dexscreener 数据显示,PRIME 短线突破 27 USDT,现报 25.79 USDT,24H 涨幅为 22.94%,创历史新高。此前消息,链游 Parallel 将于 Solana 上构建新的 AI 赋能游戏 Parallel Colony。查看原始新闻……
马斯克发布狗照推动WIF再次突破3美元,24小时涨幅达35.1%
据深潮TechFlow报道,马斯克在X平台发布一张戴着帽子的狗的照片,WIF再次突破3美元,24小时涨幅达35.1%,现报价3.0418美元。查看原始新闻……
马斯克今日凌晨发布戴帽子的狗狗照片,WIF 24小时涨幅超35%
PANews 3月18日消息,特斯拉CEO Elon Musk(马斯克)于北京时间今日凌晨1:42在X平台上发布一张戴帽子的狗狗照片,随后,Meme币WIF大幅上涨。现报3.05美元,24小时涨幅35.3%。PANews查看原始新闻……

其他加密货币(Cryptocurrency)社区

对于其他加密货币的统称,包含稳定币,竞争币……如USDT,USDC,BNB(币安币)ETC(以太坊经典)……


社区规则

禁止人身攻击、暴力威胁、八卦、任何形式的诽谤、发布人们的私人信息。

禁止误导性标题宣传

禁止产品和项目促销

仅限中文,对于非中文的文章请提供来源链接以及准确的翻译