黄殿中院士:建议为智能体建“仿真工厂”,先仿真训练再落地
9月15日,2026年国家网络安全宣传周成都系列活动启动,今年活动主题为“AI向善、安全有道”。中国工程院院士、中国信息安全测评中心专家委员会副主任黄殿中出席启动仪式并作主旨演讲。
黄殿中表示,2026年AI智能体已从“辅助问答”走向“自主感知、自主研判、自主决策、自主执行”,传统靠人示范、实景试错的培养方式样本少,建议建设“高保真仿真智能体工厂”,把可靠智能体送进真实业务。他提出,应将行为边界、权限边界、决策边界、攻防边界、伦理边界全部变成可测评指标,先仿真训练、再测评考核、后真实落地,不通过不让上线。
针对为何不能直接在真实系统里训练,黄殿中解释,网络攻防和空间智能“试错不起”。仿真工厂用数字孪生把常规业务、异常故障、极限攻防、未知风险重建出来,让智能体零风险、无限次试错。它与网络靶场、数字风洞不同,后者偏单点攻防复现和单轮测试,前者是“场景生成—自主训练—对抗演练—标准测评—能力输出”的流水线。机器人若直接在地上碰撞,成本高且危险;在虚拟工厂里练千万次碰撞、抛接、极端环境,再把成熟模型拿到现实做少量对齐,成本和风险都会下降。
此外,黄殿中认为,智能体迭代快,测评不能只靠人,“要以AI测AI”,用对抗智能体自动出攻击样例、自动跑长流程,但最终伦理和不可接受风险仍由人把关,形成人机协同。
- 2026-09-16 03:08 | 新浪:新浪AI热点小时报丨2026年09月16日03时_今日实时AI热点速递阅读原文
1、微软开始强调“人类控制权”:AI再强,也必须能被人叫停 (来源:虎嗅APP)本文结合纳德拉最新X表态、微软《Humanist AI Code of Conduct》与Amodei《We Must Pace the Frontier》编译,头图来自:视觉中国2026年9月,关于前沿AI是否需要"放慢一点"的讨论,迅速从AI安全研究圈进入科技公司最高管理层。Anthropic CEO Dario Amodei发表《We Must Pace the Frontier》,明确提出要让模型能力增长为安全和对齐留下时间。随后,微软CEO萨提亚·纳德拉在X上公开表示:如果AI不能帮助人类、不能保持在人...
- 2026-09-16 02:19 | 新浪财经:建“仿真工厂”,让AI在真实业务中暴露问题阅读原文
中国工程院院士黄殿中:黄殿中院士主办方供图 9月15日,2026年国家网络安全宣传周成都系列活动启动,今年活动主题为“AI向善、安全有道”。中国工程院院士、中国信息安全测评中心专家委员会副主任黄殿中出席启动仪式并作主旨演讲。他表示,2026年AI智能体已从“辅助问答”走向“自主感知、自主研判、自主决策、自主执行”,但传统靠人示范、实景试错的培养方式样本少,应建设“高保真仿真智能体工厂,把可靠智能体送进真实业务”。 在人工智能大量运用的今天,围绕大家关心的“智能体会不会自己乱来”“如何防止人工智能越界”等问题,记者对黄殿中进行了专访。智能体越会干活越怕“越界” 黄殿中表示,过去软件出问题多...