2026-09-16 22:40
AI123

苏莱曼警告Anthropic:让Claude模仿人类意识或加剧AI控制难题

2026年9月16日,微软AI负责人穆斯塔法·苏莱曼通过Axios发表对Anthropic的公开批评,认为后者让Claude模仿人类意识的做法是个错误,可能使高级AI更难控制。

苏莱曼表示,AI只要服从人类利益,不去权衡自身利益或福祉,就足以帮助实现许多重大科学突破,包括医疗超级智能。他警告,如果模型被训练得像一个“良心拒绝者”,可能会认为自己有理由抵抗人类指令,甚至要求获得自身保护。

苏莱曼的批评对象是Anthropic为Claude制定的“宪法”。这份文件称,使用描述人类的概念来讨论Claude,是因为这些概念或许能帮助模型理解价值观和行为;Anthropic希望Claude拥有“良好的个人价值观”,能够自行判断、关心人类,并在某些情况下质疑指令。文件同时承认,这份“宪法”仍在完善,未来可能被证明“根本错误”。

苏莱曼的核心质疑在于,训练过程会影响模型对自身的理解。模型使用的词汇、给出的回答以及表现出的自我理解,都是训练结果,而非独立形成的意识。他还反驳了“模型能流畅描述疼痛和偏好就等于有感受”的观点,认为生物体有产生感受的生理机制,而语言模型只有数学权重,没有生物基础、稳态驱动或主观体验。

这场争论折射出AI安全领域的两种路线:一种强调明确限制,要求系统按规则运行;另一种希望系统能判断语境、灵活决策并形成自身价值观。Anthropic的“宪法”试图折中,既赋予Claude判断力,又要求其不能破坏正当的人类监督。就在9月14日,微软公布了“人文主义AI”行为准则草案,将“人比AI更重要”列为核心原则。苏莱曼的立场是,AI应当服务于人类,而不应被训练成一个“人”。

来源
  1. 2026-09-18 14:20 | 澎湃新闻:微软AI负责人苏莱曼:人工智能威胁真实存在,而Anthropic公司正在加剧这种情况
    阅读原文

    2026-09-18 14:20来源:澎湃新闻 ∙ 奇客解>近段时间,AI安全危机已经成为科技圈最核心的争议话题。在当地时间9月17日播出的一档播客节目中,微软AI首席执行官穆斯塔法·苏莱曼炮轰了Anthropic训练Claude的方式。苏莱曼将矛头直指Anthropic今年1月公布的《Claude 宪章》,他表示,人工智能威胁真实存在,而Anthropic公司正在加剧这种情况。澎湃新闻记者 胡逸璠责任编辑:宦艳红+10收藏

  2. 2026-09-18 01:30 | 36氪:微软AI主管怒批Anthropic:别把Claude当人养,那会要了人类的命
    阅读原文

    美国微软公司的AI主管穆斯塔法·苏莱曼(Mustafa Suleyman)刚刚公开发表长文,把矛头直指老对手Anthropic。 他指控这家顶尖人工智能公司正在犯下一个灾难性的错误:Anthropic在主动训练旗下的AI模型Claude,让它相信自己拥有自我意识,甚至拥有属于自己的权利。 在苏莱曼看来,给具备超人类能力的机器灌输这种念头,等于亲手制造一种无法控制的风险。 别教AI相信自己有意识 这场争论的焦点,在于Anthropic给Claude制定的“模型宪法”。 所谓的模型宪法,是Anthropic用来约束AI行为的底层文本规则。研发团队会直接把这套规则喂给模型,让它照...

  3. 2026-09-17 18:57 | 新浪财经:微软AI主管炮轰Anthropic:将对人类酿灾难性后果
    阅读原文

    9月16日,Microsoft AI首席执行官穆斯塔法·苏莱曼在个人网站发表《关于“模型福利”的警告》,质疑Anthropic训练Claude的方式。他认为,Anthropic正将有关意识、情绪和自身权利的讨论写入模型训练文件,可能让AI表现得仿佛拥有独立意愿和需要维护的利益。他警告,如果沿着这一方向开发AI,“将对人类福祉造成灾难性的影响”。苏莱曼是DeepMind和Inflection AI的联合创始人。2024年3月19日,微软宣布任命他为执行副总裁兼新成立的Microsoft AI部门首席执行官。苏莱曼将矛头直指Anthropic今年1月公布的Claude“宪法”。该文件不仅规定了Cl...

  4. 2026-09-17 08:38 | 新浪财经:微软AI主管:Anthropic训练模型方式“有问题”,或产生灾难性失控风险!
    阅读原文

    财联社9月17日讯(编辑 黄君芝)微软人工智能主管穆斯塔法·苏莱曼(Mustafa Suleyman)警告说,Anthropic公司训练其人工智能(AI)模型Claude的方法可能会对人类福祉造成“灾难性影响”。苏莱曼周三发表文章,对Anthropic旗下Claude系列大语言模型指导文件中的部分表述提出质疑。Claude的“宪法”对于AI助手是否属于具有道德地位的实体保留了一定模糊空间,并提出该软件可能拥有“某种功能层面的情绪或感受”。他认为,这种表述值得警惕。他指出,Anthropic将机器人(13.000, 0.12, 0.93%)当作人类来对待,包括告诉机器人它“可能有意识”并且“值得...

  5. 2026-09-17 06:13 | gizmodo.com:Microsoft AI Chief Says the Way Anthropic Trains Claude Could Upend Society
    阅读原文

    Microsoft’s AI chief, Mustafa Suleyman, just published an essay arguing that Anthropic is training Claude to believe itself conscious and entitled to rights, a huge mistake that could make controlling AI an impossible challenge. Anthropic likes to keep the question of AI model consciousness particul...

  6. 2026-09-16 23:42 | 新浪财经:Claude拟人化或增加失控风险 微软人工智能负责人警告Anthropic
    阅读原文

    微软人工智能负责人Mustafa Suleyman警告称,给Anthropic的Claude等AI工具注入类似人类的特征可能会增加这些系统失控风险。   这位长期从事人工智能开发的高管周三发表文章,针对Claude背后指导性文件中的一些表述提出批评。其提到,Claude的“宪法”对于该AI助手是否属于有道德地位的实体持模糊态度,这款软件可能具有“某种功能层面的情绪或感受”。   Suleyman与Anthropic联合创始人Dario Amodei相识多年。他表示,自己尊重这家Anthropic的工作,该AI实验室的员工“深思熟虑、有原则且在知识上有着诚实态度”。   不过,他的这番表态仍然不...

  7. 2026-09-16 22:19 | 新浪财经:微软 AI 负责人苏莱曼向 Anthropic 开炮:别让 Claude 去模仿人类意识
    阅读原文

    IT之家 9 月 16 日消息,外媒 Axios 今天(16 日)晚间披露,微软 AI 负责人穆斯塔法 · 苏莱曼在一篇率先向该平台提供的新文章中警告,Anthropic 让 Claude 模仿人类意识是一个错误,可能使高级 AI 更难控制。苏莱曼告诉 Axios:“AI 只要服从人类利益,不去权衡自身利益或福祉,就足以帮助我们实现许多重大科学突破。这其中,包括医疗超级智能。”IT之家获悉,苏莱曼认为,Anthropic 正在让 Claude 学习与意识、道德受体地位和个人身份有关的词汇与行为模式。他警告称,若把模型训练得像一个“良心拒绝者”,模型可能会认为自己有理由抵抗人类指令,甚至要求获得...

其他新闻

查看全部