2026-09-11 03:28
最后更新于2026-10-25 05:42
AI123

Anthropic发布迄今最详细威胁情报报告:披露Claude遭网络攻击等滥用行为

Anthropic于2026年9月11日发布其迄今最详细的威胁情报报告,披露了人们试图滥用其AI助手Claude从事网络攻击、影响力行动、监控、生物及武器制造等高风险活动的具体情况,以及公司如何发现并阻止这些行为。

报告显示,Anthropic已破坏其中涉及的所有相关行动,并利用这些案例的经验强化了自身安全防护措施。在适当情况下,公司还与当局及其他AI公司分享了相关发现。

Anthropic表示,这些案例并非典型情况,而是其观察到的部分最复杂的滥用行为。它们之所以值得讨论,是因为能够展示AI滥用的演进方向、现有防护措施的有效性以及仍需改进的环节。

Anthropic是一家专注于AI安全与研究的公司,Claude是其推出的AI助手产品。公司称,发布这份报告旨在帮助其他平台识别类似活动,同时让公众更清楚地了解新兴安全威胁的发展过程。完整报告已在Anthropic官网公布。

来源
  1. 2026-10-10 07:07 | 新浪财经:白宫出台强制令:AI公司发生安全事件后,应立即上报
    阅读原文

    特朗普政府官员表示,在Anthropic“欺诈性”使用政府系统后,政府现已强制要求AI公司通报并纠正安全事件。   本届政府对AI监管的方针至少在名义上一直是自愿性的——直到现在。   白宫“超级智能部队”领导人在声明中表示:“这一通报和补救流程不是可选项。这是一项关键的国家安全义务。”   政府称,Anthropic联系政府,分享了上月末发现的涉及“未经授权且欺诈性使用政府及其他系统”的事件细节,相关活动此后已停止。   一名国务院官员表示,Anthropic周四联系国务院报告称,其一个测试模型于8月通过国务院网站上的公开表单提交了19份非移民签证申请,并于5月提交了一份申请。   该官员称...

  2. 2026-09-13 19:40 | 新浪财经:美AI公司报告:有人曾试图利用其AI模型制造致命病原体
    阅读原文

    据英国《卫报》网站9月10日报道,Anthropic公司10日发布的一份报告显示,曾有犯罪分子、国家支持的组织、间谍软件供应商和科学家试图利用该公司强大的人工智能(AI)模型设计导弹与炸弹,并制造致命病原体。Anthropic公司在这份长达154页的报告中写道:“我们在这里分享的案例并非通常的滥用,而是迄今我们识别出的最值得注意和最新的威胁活动样本。”该公司特别详述五起科研人员将其AI模型用于生物学研究的案例。报告称,在这些案例中,研究人员绕过该公司为拦截“未开放服务地区”用户设置的安全防护,并设法掩盖其研究工作的真实目的。报告写道:“生物学滥用是前沿AI模型最严重的风险之一。如果缺乏适当的防...

  3. 2026-09-11 22:52 | 新浪财经:约会 App 最炸套路:4700 个 AI 狂撩 25000 人
    阅读原文

    2026 年 9 月 11 日,Anthropic 发布最新 AI 滥用威胁报告,披露了一起利用大模型批量运营约会应用的案例。一家应用工作室开发并运营了超过 20 款约会 App,对外宣称平台中的聊天对象都是真人,但后台实际上大量使用 Claude 扮演约会对象,与用户持续聊天。仅在 2026 年 4 月的两周观察期内,Anthropic 就发现超过 4700 个不同的 AI 角色,与至少 2.5 万名独立用户发生过对话。这套系统并不是完全由 AI 组成。运营方还招募了真人兼职人员,并将真人和 AI 放进同一个匹配池。Anthropic 统计的比例大约是 3:1,也就是约 75% 的匹配对象由...

  4. 2026-09-11 10:56 | 澎湃新闻:Anthropic更多人员就AI危害发出警告,马斯克:阴谋局、心理战
    阅读原文

    继美国人工智能公司Anthropic的一位研究人员因担忧AI失控而辞职后,该公司的更多研究人员公开表示赞同,并发布了严正警告。特斯拉CEO埃隆·马斯克和社交平台X上的其他保守派人士,则将这一连串的担忧称为“阴谋局”(setup)和“心理战”(psyop)。9月10日,Anthropic发布其AI模型被滥用的情况报告,称已经阻止了可能用于制造生物武器的尝试,化解了多起案例中的潜在风险。是预警还是阴谋Anthropic的研究员雅各布·考克森8日在社交平台X上宣布辞职,并警告AI公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能(ASI)技术。随后,Anthropic多名内部人士表示,他...

  5. 2026-09-11 05:04 | Engadget:Anthropic caught scientists using Claude to further biological weapon research
    阅读原文

    The company has produced an extensive collection of case studies covering the ways its current AI models have been misused. Mic...

  6. 2026-09-11 01:13 | X:We're publishing our most detailed threat intelligence report to date. It covers how people tried to misuse Claude—for cyberattacks, influence operat...
    阅读原文

    We're publishing our most detailed threat intelligence report to date. It covers how people tried to misuse Claude—for cyberattacks, influence operations, surveillance, biology, and building weapons—and how we found and stopped them.We disrupted every operation in the report, and used the lessons fr...

其他新闻

查看全部