打破手机跑大模型壁垒，面壁智能联合清华开源端侧新品BitCPM-CANN

BitCPM-CANN开源：8B大模型显存需求砍掉六分之五，0.5B模型能力保留90%以上

面壁智能联合清华大学、OpenBMB开源社区，在华为昇腾平台上开源了低比特大模型训练成果BitCPM-CANN，包含四个模型尺寸：0.5B、1B、3B、8B。有开发者试了说，相比传统BF16精度，BitCPM-CANN在推理阶段能释放约6倍的显存红利——6倍显存红利意味着原本对配置要求极高的8B参数级别大模型，如今也可以轻松流畅地运行在主流旗舰手机之上。群里在传，这种对内存空间的极致释放，将直接加速端侧AI技术在移动设备上的普及与商用落地。

能力保留率惊人，工程可复现性被证实

在精简模型体积的同时，BitCPM-CANN依然保持了极高的性能水准。据多位开发者验证，其模型能力保留率成功维持在90%至97.2%之间。其中，三个主要尺寸模型的能力保留率均达到了95.7%—97.2%，即使是体积最小的0.5B模型，其保留率也超过了90%。这些测试结果让社区认为，低比特训练技术路线具备极强的可扩展性与工程可复现性。面壁智能基于相关主干搭建了完整的低比特训练底座，涵盖环境适配、32K长序列支持及融合算子等完整工程体系——有开发者说，这为后续面向昇腾的低比特训练工作筑牢了公共基础设施。

接下来盯着看什么

手机厂商何时量产搭载8B模型的终端，以及华为昇腾生态能否借此扩大端侧AI份额。这会让依赖高显存部署的云端推理服务商感到难受，因为端侧大模型门槛被拉低后，原本需要云上跑的推理可以转移到终端完成。