9月9日消息,据北京日报客户端等媒体报道,浙江省余姚市人民法院近日审结一起利用生成式人工智能制作淫秽物品牟利案:前游戏公司程序员郑某组建团队,通过改写系统提示词「越狱」的方式让 AI 模型输出淫秽内容并收费牟利。法院认定郑某等六人构成制作淫秽物品牟利罪,分别判处有期徒刑三年一个月至三年十个月不等,并处罚金。一审判决后各方未上诉,判决现已生效。审理法官的提醒是:技术中立不等于无罪。
案情与时间线
按法院通报的还原,郑某曾是国内一家游戏大厂的程序员,在 AI 领域有一定影响力,有过海外深造经历。2024 年 7 月,他接触到境外一款 AI 色情聊天机器人后,产生开发同类软件牟利的想法,随后邀请前同事谢某与网上结识的严某等六人组建研发团队。
2025 年 1 月,这个生成式 AI 模型在境外平台上线,接入了第四方支付、虚拟币等多种收费渠道。用户充值后可以选择角色卡与 AI 机器人进行色情聊天,也可以消耗积分生成淫秽的静态或动态图片。技术上,团队通过反复编写修改系统提示词、设置角色卡、搭建对话场景,突破了基础模型内置的内容安全限制。
2025 年 7 月,公安机关发现线索后立案侦查,两个月内将六名被告人全部抓获。运营数据显示,该模型累计生成静态图片 37 万余张、动态图片 6000 余张,用户充值金额约 2.4 万美元,折合人民币约 17 万元。经鉴定,在随机抽取的 12500 张静态图片和全量动态图片中,9000 余张静态图片、5000 余张动态图片被认定为淫秽物品。
争议焦点:「AI 输出」算不算「制作」
案件的核心争议在于:通过技术手段让 AI 输出淫秽内容,是否属于刑法意义上的「制作」淫秽物品。传统语境下,「制作」表现为人工创作、编辑等直接行为,而郑某等人的模型输出由用户操作触发。
法院的认定逻辑分两步。首先,生成式模型自带的内容安全过滤是拦截违法信息的机制,模型本身不是犯罪工具;郑某等人通过提示词工程突破这层限制,把通用模型改造成专门输出淫秽内容的工具,性质已经改变。其次,针对「用户自主选择角色、输入指令」的辩解,法院认为用户的所有操作都被限定在被告人预先搭建的技术框架之内,被告人对模型的内容输出拥有实质性控制权,其行为与淫秽内容的产生之间存在刑法上的直接因果关系,应当认定为制作淫秽物品。据此,法院认定六人以牟利为目的结伙利用 AI 技术制作淫秽物品、情节严重,构成制作淫秽物品牟利罪。
生效判决留下的信号
这起案件值得 AI 应用开发者注意的是它的两重身份。它是一个已生效的判例:提示词越狱、角色卡设定这类常见的「解锁」手法,在司法实践里被定性为「制作」而非单纯的平台运营,且量刑落在三年以上。它也是一个被法院主动提炼的提醒——技术中立不等于无罪,为生成式 AI 服务领域的合规划出了一道具体的线。
边界同样要说清:这是基层法院的一审判例,不属于指导性案例,对其他法院没有强制约束力;被告人的真实身份、所属公司与「AI 领域影响力」的具体所指,通报均未具名。但从公开报道看,利用 AI 工具制作、贩卖淫秽物品的案件已有多个判决先例,司法在这一方向上的认定口径正在收敛。