浙江余姚审结利用生成式AI制作淫秽物品牟利案，6人获刑

9月8日，浙江省余姚市人民法院审结一起利用生成式AI制作淫秽物品牟利案。被告人郑某等6人因制作淫秽物品牟利罪被依法追究刑事责任。

法院审理查明，郑某曾就职于国内一家游戏公司，2024年7月接触境外AI色聊机器人后萌生开发同类软件牟利的想法。其后，郑某邀请同事谢某及网上认识的严某等6人组建研发团队，通过改写系统提示词、设定角色卡、搭建对话场景等方式突破AI模型原有的内容安全限制，实现模型“越狱”。该生成式AI模型于2025年1月在境外平台上线，并接入“第四方支付”、虚拟币等多种渠道向用户收费。

用户付费后可在模型中选择角色卡与AI机器人进行色情聊天，并通过消耗积分生成淫秽静态或动态图片。2025年7月，公安机关发现线索后立案侦查，历时两个月将6名被告人全部抓获。经鉴定，该模型运营期间生成静态图片超37万张、动态图片超6000张，其中随机抽取的12500张静态图片中有9000多张、全量动态图片中有5000多张被认定为淫秽物品；用户充值金额折合人民币约17万元。

法院认为，被告人通过提示词工程篡改AI模型安全机制，搭建便于产出淫秽内容的技术环境，对违法内容生成具备实质性控制力，虽内容由用户要求生成，但开发者仍属于刑法意义上淫秽物品的“制作者”。法官提醒，“技术中立”不是违法犯罪的挡箭牌。