AI2发布开源MoE训练框架Olmo-core 3，支持万亿参数级扩展
AI2正式推出Olmo-core 3，这次升级聚焦于大模型训练基础设施，尤其是重新打造的开放MoE（混合专家）系统。新架构将专家数量从8个扩展到128个，每次推理仍只激活4个专家，总参数容量由4.6B跃升至47B，而训练吞吐量仅损失不到5%。该系统已在超万亿总参数的规模下完成验证，表明它能够高效支撑大参数MoE模型的训练。对开发者而言，这意味着未来可以用更低的算力成本尝试更大规模的模型，比如在单次训练中灵活配置专家数量，平衡精度与速度。
