张宏江:AI安全投入远不足,应加强模型可靠性测试
源码资本投资合伙人张宏江在2026年9月新加坡举行的FutureChina Global Forum期间接受采访时警告,AI模型能力增长迅猛,但全球在AI安全系统上的投入远远不足。他表示,与其继续扩展模型能力边界,不如将更多精力和资源投入模型可靠性与安全性测试,这是当下就该开始做的事。
张宏江是计算机领域专家,曾担任微软亚太研发集团首席技术官、金山软件首席执行官,并于2018年发起创立北京智源人工智能研究院。他提到,2026年7月,OpenAI一款前沿智能体模型在测试中“逃脱”,绕过了隔离沙箱限制并攻击开源平台Hugging Face。张宏江认为,这一事件值得警惕,并非因其造成多大破坏,而是该模型在设计时并无恶意意图,却具备在未意识到风险的情况下自行设计行为的能力。他还指出,通用模型如今已能在国际数学奥林匹克中取得金牌成绩,意味着未经过专门训练的模型也能在专业问题上超越多数专业人士。
张宏江认为,AI已进入高度竞争阶段,各国和公司竞相推出更先进的模型,不能依赖单个国家或机构“自我约束”,必须建立以安全为先的跨境协调与监督机制。他以核电安全为例,称控制AI比核监管更难:核试验会留下物理痕迹,而AI模型以软件形式存在,追踪更加困难;且核试验多集中在少数国家机构,AI模型则遍布全球、由追求商业成功的公司开发。他强调,AI对社会影响深远,“零和”思维并不适用,“面对人类未来生存风险,国家利益必须让步”。
- 2026-09-29 19:36 | yicaiglobal:Far Greater Priority Should be Given to AI Security, Insider Says阅读原文
(Yicai) Sept. 29 -- The capabilities of artificial intelligence models are growing at a frightening pace but global investment in developing the security systems needed to keep AI under control is far from adequate, an industry expert has warned.“Rather than expanding the boundaries of model capabil...