字节跳动拟训练超5万亿参数大模型，或成国内规模最大

核心消息

据《晚点 LatePost》报道，字节跳动正在讨论训练一款参数规模超过 5 万亿 的大语言模型。若该项目最终落地，其参数规模将超过阿里通义千问 Qwen3.8-Max 的 2.4 万亿 和月之暗面 Kimi K3 的 2.8 万亿，成为目前国内已知参数规模最大的模型。

不过，报道同时指出，该项目仍处于早期阶段，最终是否正式发布尚未确定。

项目背景与负责人

该模型计划由字节跳动 Seed Foundation 负责人项亮主导，并与大语言模型预训练数据负责人沈科合作推进。围绕这一项目，Seed 团队正在进行组织调整，包括重新梳理研发职责、优化资源配置，以支持超大规模模型训练。

据公开资料，项亮与沈科均是字节跳动人工智能和大模型研发体系的重要成员，二人均来自字节核心“搜广推”技术体系。

项亮简介

• 本科毕业于中国科学技术大学
• 博士就读于中国科学院自动化研究所
• 2016 年加入字节跳动
• 曾负责机器学习中台 AML 团队
• 现任豆包大模型 Foundation 团队负责人

沈科简介

• 2018 年从清华大学毕业后加入字节跳动
• 目前主要负责大语言模型预训练数据相关工作

行业趋势解读

随着国内外 AI 厂商持续扩大模型参数规模，并围绕训练数据、算力和基础架构展开竞争，超大规模模型研发正在成为头部企业探索通用人工智能能力的重要方向。

字节跳动此次布局，也反映出国内大模型竞争正从应用创新进一步延伸至基础模型能力建设。这一动向可能预示着：

在下一代大模型竞赛中，参数规模与数据质量仍是决定模型能力上限的关键因素之一。

挑战与不确定性

尽管超大规模模型理论上能带来更强的学习与推理能力，但训练超过 5 万亿参数的模型也面临诸多挑战：

• 算力需求巨大：需要数千乃至上万张高端 GPU 集群，训练成本极高
• 数据瓶颈：高质量预训练数据的获取与清洗难度加大
• 工程系统：分布式训练、稳定性、通信效率等都需要深度优化
• 实际收益：更大参数是否真正带来能力质变，仍需验证

因此，该项目能否最终落地，仍存在变数。后续发展值得持续关注。

参考

本报道综合自《晚点 LatePost》相关文章，所有关键信息均基于原报道，未作主观臆测。