苹果推出开放语言模型OpenELM

PANews 4月25日消息，据ZAKER报道，苹果研究团队推出了一种先进的开放语言模型OpenELM。OpenELM使用分层缩放策略，在transformer模型的每一层中

2024-04-25 11:59:24 作者： Bernardo52

PANews 4月25日消息，据ZAKER报道，苹果研究团队推出了一种先进的开放语言模型OpenELM。OpenELM使用分层缩放策略，在transformer模型的每一层中有效地分配参数，从而提高了准确性。例如，在参数预算约为10亿的情况下，OpenELM 的准确率比OLMo提高了2.36%，而所需的预训练token却减少了2倍。与之前只提供模型权重、推理代码以及在私有数据集上进行预训练的做法不同，OpenELM包含了在公共可用数据集上对语言模型进行训练和评估的完整框架，包括训练日志、多个检查点和预训练配置。此外，他们还发布了将模型转换为MLX库的代码，从而在苹果设备上进行推理和微调。早在今年2月，苹果公司CEO TimCook表示，苹果生成式AI功能将于“今年晚些时候”推出，有消息称即将在6月发布iOS 18可能是苹果iOS史上“最大”的更新，而9月也将推出首款AI iPhone设备。

查看原始新闻

登录或注册发表您的评论

可能感兴趣的贴文

某新建钱包6小时前从Coinbase rime地址收到23752枚ETH

PANews 4月25日消息，据The Data Nerd监测，6小时前，一个新钱包从Coinbase rime地址收到了23,752枚ETH，价值约合7490万美元。查看原始新闻……

某巨鲸1小时前从币安提取799枚ETH，随后将200枚ETH质押到Pendle

PANews 4月25日消息，据The Data Nerd监测，1小时前，0x0Ed开头巨鲸从币安提取了799枚ETH（约252万美元），然后将200枚ETH质押到Pendle。上周，他还从Gate积累了308万枚ENA并将所有这些代币投入Pendle。查看原始新闻……

Manta Renew Paradigm活动已开放MANTA代币奖励领取

PANews 4月25日消息，官网显示，Manta Renew Paradigm已开放MANTA代币奖励领取，4月24日22:00快照前燃烧NFT的用户，可分享300万枚MANTA奖励。生态项目空投奖励将依据项目方具体空投规则发放。使用STONE参与Manta Renew Paradigm的用户，可获得StakeStone 空投积分。查看原始新闻……

过去两个季度Sui生态DEX交易量增长3689%，Sui上DeFi TVL增长1459%

PANews 4月25日消息，Messari发布的Sui 2023 Q4和2024 Q1状态报告，关键信息如下：1.过去两个季度，Sui日均DEX交易量增长3689%，达到7800万美元。Cetus和DeepBook分别以3700万美元和2600万美元的日均交易量领先；2.主要在Sui上构建的项目在24年Q1融资1130万美元，比在2023年全年融资总额高出31%。在Q1获得融资的项目包括Talofa Games、Scallop、NAVI、Cetus和Karrier One；3.3月底，Mysten Labs推出了Pilotfish，这是一种新的执行扩展解决方案，可以为单个验证器在多台机……