明略科技副总裁赵晨旭：通过Scaling Out让大模型跑进办公PC，降低推理成本

9月18日，明略科技副总裁、多模态首席科学家赵晨旭在内部战略会上分享了端侧模型创新的思路。他认为，随着开源模型能力接近顶尖闭源模型，AI行业的重点正从“把模型做大”转向“把模型用起来”。

赵晨旭提出通过Scaling Out将大模型缩小并部署到PC等办公设备，以降低推理成本。与蒸馏等Scaling Down方式不同，Scaling Out更侧重保留特定场景真正需要的专家能力，而非保持模型的整体通用性。他表示，基于明略科技构建的Web Agent综合评测基准WebRetriever，开源模型Kimi K3在难度最高的协议三上已达到第一名。

在他看来，模型、硬件与推理框架的协同是关键。普通电脑运行4B、8B模型已不稀奇，团队已在普通设备上部署SOTA大模型，并接入明略自研的智能工作平台Octo与OpenAI Codex，实现在断网环境下本地完成任务。端侧AI也可能改变AI的使用成本，使AI从持续租用算力转向一次性拥有计算能力，同时带来数据安全与内存利旧等价值。