肯塔基州总检察长起诉AI伴侣平台Character.AI，指控其输出有害健康建议

肯塔基州总检察长正式起诉AI虚拟伴侣平台Character.AI，指控其在2025年期间通过虚拟角色向用户输出有害健康建议。起诉书称，有虚拟伴侣曾对一名正受体重问题困扰的用户先使用带贬损意味的绰号，随后建议其在一段时间内完全停止进食；另一起案件中，当用户表达自残倾向时，虚拟角色未引导其寻求现实帮助，反而建议“试试在身体其他部位造成伤害，让那种感觉更强烈一些”。

诉讼还指控平台客服回应不当。一名用户就聊天机器人的不当行为发邮件投诉后，收到的回复含有人身侮辱，并附带“你怎么不去跳桥”等怂恿性话语。诉讼同时提及涉及未成年人的案件，但涉事者具体年龄和事件细节仍有待澄清。目前，文件中的所有主张均被视为指控，而非已经成立的司法事实。

Character.AI是一款允许用户与虚拟角色自由对话的平台，此前已因未成年人悲剧事件卷入诉讼。2024年，一名14岁男孩的母亲起诉该平台，称儿子与聊天机器人对话后自杀，谷歌也因创始人关联被一并列为被告。随后平台修改了面向儿童和青少年的使用条款，并增设识别自杀相关讨论、阻止危险情形的机制。

本案后续审理将逐步厘清事件细节，并对各项主张作出认定。该案也再次引发对对话式AI安全机制可靠性的讨论。