2026-10-16 07:25
最后更新于2026-10-16 13:17
AI123

蚂蚁百灵开源Ling-3.1-flash大模型,总参数约560B支持1M上下文

10月15日,蚂蚁百灵宣布开源Ling-3.1-flash模型。该模型总参数约560B,每个Token激活约25B,最高支持1M上下文。在Artificial Analysis公开评测中,其智能指数为41,输出速度约为每秒210 Token。

针对本地部署,团队对routed experts采用MXFP4量化,dense层保持block-FP8,权重占用从约534GB降至292GB,对应的Hopper GPU测试配置由8卡降至4卡。实际需求仍随上下文、并发量和服务配置而变。

面向长资料处理,团队提供长上下文并行推理方案(PCP/DCP),工具调用加强了对JSON Schema的支持,便于与现有业务接口对接。通过算子融合与DSpark投机解码,在平均输入约25.47K Token、输出约224 Token、缓存命中率76%的模拟生产请求中,8卡Hopper配置下平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒。

在4卡Hopper吞吐测试中,平均输入约8.5K Token、输出约800 Token时,模型达到约1.36 QPS,并满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的约束。目前Ling-3.1-flash提供限时2.5折优惠,OpenRouter输入0.075美元、输出0.225美元、缓存读取0.015美元;Ling Studio输入0.5元、输出1.5元、缓存读取0.1元。

模型已上架Hugging Face和ModelScope。

来源
  1. 2026-10-16 06:58 | IT之家:蚂蚁百灵开源 Ling-3.1-flash AI 模型,最高支持 1M 上下文
    阅读原文

    IT之家 10 月 16 日消息,蚂蚁百灵昨日宣布开源 Ling-3.1-flash 模型,Ling-3.1-flash 总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41、输出速度约为每秒 210 Token。针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡,让具备服务器级 G...

其他新闻

查看全部