彩云科技两度刷新NanoGPT Speedrun世界纪录 大模型训练时间压缩至1分16秒

9月9日，彩云科技团队宣布，其在NanoGPT Speedrun开源竞速项目中两次提交方案，对应榜单#81、#85两项记录，两度改写世界纪录，将1.24亿参数GPT-2模型的达标训练时间压缩至1分16秒。

NanoGPT Speedrun是由海外研究者发起、面向全球开发者开放比拼的开源AI技术竞速项目。该项目规则统一，使用8张H800显卡和固定数据集，训练1.24亿参数的GPT-2小型模型，以训练达标所需时间为比拼指标。所有参赛代码公开可复现，成绩由社区维护者严格审核。

彩云科技团队介绍，两项纪录的背后是其在模型架构上的两项原创性创新——DCMHA（可动态组合多头注意力）和MUDD（多路动态稠密连接）。DCMHA技术让模型内部信息处理单元根据读到的内容灵活协作，提升信息处理效率；MUDD技术则为层间信息传递加装“智能阀门”，使模型自主调控信息通路，避免固定连接带来的效率损耗。团队对两项技术进行了轻量化改造，并开发配套运算内核，完成从学术构想到工程落地的全链条验证。

目前，两项成果已被官方仓库接纳，全球开发者可自由复现与迭代。业内人士认为，这一突破在硬件不变的前提下显著提升了训练效率，降低了算力成本，为大模型底层技术研究提供了可验证的创新路径。