腾讯混元推出214GB轻量版大模型并开源，支持异构设备联合推理

腾讯混元团队于9月1日宣布推出Hy4 preview轻量版，将模型权重从接近1.5TB压缩至约214GB。该版本已上线Hugging Face和GitHub平台，支持llama.cpp、vLLM、SGLang等主流推理框架。

Hy4 preview是腾讯于8月28日发布并开源的新一代MoE（混合专家）大语言模型，总参数量770B（7700亿），激活参数49B，上下文长度达100万Token。此次压缩依托Sherry稀疏三值量化算法与MIX-STQ1_0混合精度策略两项核心技术。

Sherry稀疏三值量化算法将路由专家层权重压缩至平均1.25比特；MIX-STQ1_0混合精度策略则依据校准数据逐层决定量化位宽，敏感层保留较高精度（2.06比特IQ2_XXS），不敏感层采用更激进的STQ1_0（1.31比特）。

评测显示，压缩后的模型在主流任务上表现稳定：长文理解几乎与原始BF16模型持平，多轮长上下文检索基本处于同一水平，数学能力小幅回落。MCP Atlas得分从83.7微降至83.2，SWE-Bench multi从82.9降至81.3。

在异构设备联合推理方面，腾讯混元与prima.cpp合作验证了新方案：在一台配备单张4090的笔记本与一台四卡A4000服务器（合计80GB显存、64GB内存、分属两个局域网）上，通过异构调度将MoE层拆分分配，使214GB轻量版模型达到1.02 token/s的推理速度，比笔记本单机offload快约6倍。