AI 快讯OpenAI上线CSAM识别与封禁
产品更新

OpenAI上线CSAM识别与封禁

2026-11-16T19:03:19.308Z
OpenAI上线CSAM识别与封禁

OpenAI发布面向机构的CSAM图像分类器,并在ChatGPT中上线分级警告:命中高风险请求后删除对话、暂停账号24小时,重复违规可能永久封禁。

OpenAI上线CSAM图像分类器,ChatGPT开始直接封号

OpenAI在11月16日发布了一套针对儿童性虐待材料的产品级安全系统:一边向经过审核的机构免费开放新的CSAM图像分类器,一边在ChatGPT中加入警告、删除对话、暂停账号24小时以及逐级封禁机制。

这不是一次普通的内容过滤器更新。OpenAI正在把儿童安全从「模型拒绝回答」升级为「识别内容、追踪行为、干预账号、支持人工调查」的一整套执法流程。

CSAM是Child Sexual Abuse Material的缩写,指描绘儿童遭受性虐待或性剥削的材料,也包括由生成式AI创建或修改的相关内容。 OpenAI此次明确强调,即使画面完全由AI生成、没有直接拍摄真实儿童,性化儿童仍然会造成现实伤害,并被纳入相同的安全治理范围。(openai.com)

ChatGPT弹出CSAM安全警告、对话中止与24小时账号暂停提示的产品界面示意图

新分类器解决的不是「已知图片」,而是未知图片

OpenAI CSAM Image Classifier是一套用于识别疑似CSAM及疑似AI生成CSAM的视觉风险分类器。 它不会直接宣布一张图片违法,而是输出风险分数,帮助平台决定哪些图片应优先交给经过培训的审核人员处理。(safety-evals-hub-prototype.vercel.app)

传统CSAM检测主要依赖哈希匹配,例如PhotoDNA或PDQ:系统先为已确认的非法图片计算近似「数字指纹」,再检查用户上传内容是否与指纹库匹配。这种方法速度快、误判相对可控,但只能找到已经进入数据库的图片。

生成式AI改变了问题的形态。攻击者可以创建此前从未出现过的图像,也可以裁剪、重绘、换脸或修改现有内容,使其绕过已知哈希库。新分类器的作用,就是在图片没有命中任何已知指纹时,根据视觉内容判断它是否值得进一步审查。

| 检测方式 | 主要目标 | 能否识别全新图片 | 能否针对AI生成内容 | 适合的处理方式 | |---|---|---:|---:|---| | 精确哈希匹配 | 已确认的原始文件 | 否 | 有限 | 直接拦截、进入既有报告流程 | | 感知哈希匹配 | 裁剪或轻度修改的已知文件 | 有限 | 有限 | 自动拦截或高优先级复核 | | OpenAI新分类器 | 未知、变形或生成式图片 | 是 | 是,提供独立风险信号 | 排序、人工审核、账号处置 | | 行为检测 | 重复上传、搜索或规避行为 | 不直接判断图片 | 间接识别 | 限流、暂停或封禁账号 |

OpenAI的判断是正确的:新分类器不应该取代哈希系统,而应该部署在哈希匹配之后。已确认的CSAM不需要再发送给模型「重新判断」,未知内容才是视觉分类器真正有价值的战场。(safety-evals-hub-prototype.vercel.app)

技术结构并不神秘:CLIP编码器加三层MLP

这套分类器采用内部CLIP图像编码器与三层多层感知机,也就是MLP的组合架构。 CLIP负责把图片转换为包含视觉语义的数值向量,MLP再把这些特征映射为不同类别的风险分数。(safety-evals-hub-prototype.vercel.app)

OpenAI并没有为了这项任务从零训练一套大型视觉模型,而是复用预训练视觉表示,再针对CSAM数据训练分类头,并微调编码器的部分层。这种方案更接近工业系统的现实选择:分类器不需要生成文本,也不需要理解所有开放世界问题,关键是处理速度、跨分布泛化能力和可调节的阈值。

OpenAI称,其内部测试中存在单项跑分更高的候选架构,但CLIP加MLP在未见数据上的泛化和处理速度之间更均衡,因此成为最终上线版本。需要注意的是,这里使用的是内部CLIP编码器,其模型深度、隐藏层宽度和预训练数据均不同于公开版本。(safety-evals-hub-prototype.vercel.app)

分类器目前输出两个可以同时升高的分数:

  • likely-csam:图片属于疑似CSAM的风险分数。
  • likely-csam/gen-ai:图片属于疑似AI生成CSAM的风险分数。

第二个分数不能作为图片来源鉴定工具。换句话说,它可以告诉审核团队「这张图片看起来可能是生成式内容」,但不能证明图片由哪个模型生成,更不能独立承担司法取证功能。

OpenAI披露的默认阈值分别为0.996324和0.90,离「超过0.5就算命中」相当遥远。如此高的阈值说明这套系统在默认配置下明显偏向精确率:宁愿把部分边界案例留给其他安全层,也要尽量减少无关图片进入高敏感度的人工审核队列。(safety-evals-hub-prototype.vercel.app)

少审48%的图片,命中质量提高约一倍

OpenAI称,新分类器在找到大致相同数量违规图片的情况下,可以将进入审核流程的图片数量减少48%。 同时,被它标记的图片实际包含虐待内容的概率约为旧系统的两倍。(openai.com)

这组数字比单纯公布准确率更有意义。CSAM在正常平台流量中属于极低基数事件,即使分类器在测试集上拥有很高的准确率,只要每天处理数亿张图片,极小的误报比例也会制造海量人工审核任务。

模型卡给出的离线评估集约包含46849张受控图片,其中6849张为likely-csam正样本、40000张为负样本。在默认阈值下,这一信号的总体精确率为99.1%、召回率为80.2%,F1分数为0.886;针对疑似AI生成CSAM的信号,精确率为100%、召回率为86.4%,F1分数为0.927。(safety-evals-hub-prototype.vercel.app)

这些离线数字不能直接等同于真实平台效果。OpenAI也承认,生产流量中CSAM的占比远低于测试集,因此线上精确率会明显下降;一个看似很小的误报率,在大规模流量下仍可能把成千上万张合法图片送入审核队列。(safety-evals-hub-prototype.vercel.app)

早期合作方给出的结果更能说明实用性:fal的审核人员确认,分类器高置信度标记中有72%属于此前未知的CSAM;invideo AI的测试中,每四个被标记案例就有一个最终导致账号封禁;SafetyKit在涉及性化儿童的绘画和动画测试中测得90%的检出率。SafetyKit还表示,在合法成人内容上的误报率低于1%。(openai.com)

| 测试主体 | 测试结果 | 代表的实际价值 | |---|---:|---| | OpenAI用户上传图片评估 | 审核量减少48% | 相近检出量下显著降低人工负担 | | OpenAI对比评估 | 标记图片命中概率约提高1倍 | 审核队列质量更高 | | fal | 72%的高置信度标记为未知CSAM | 对新内容而非已知哈希有效 | | invideo AI | 25%的标记案例导致封号 | 风险分数可连接账号执法流程 | | SafetyKit | 绘画及动画案例检出率90% | 能覆盖非照片形式的生成内容 |

ChatGPT不再只是拒绝回答,而是暂停账号24小时

ChatGPT的新机制是一套针对高风险CSAM请求的渐进式账号干预系统。 当系统判断用户正在寻找相关材料时,当前对话会立即停止;登录用户的对话还会从历史记录中隐藏,之后无法重新打开。(help.openai.com)

OpenAI官方公告进一步确认,系统会删除被标记的对话,并暂停该账号访问ChatGPT 24小时。用户在暂停期间会被退出登录,无法继续使用该账号;警告页面仍会保留专业支持渠道,引导存在风险行为的人寻求帮助。(openai.com)

重复违规会触发更长时间的限制,最终可能导致永久关闭账号或向有关部门报告。用户可以通过暂停通知邮件中的链接提出申诉,但提交申诉并不会自动恢复访问权限。(help.openai.com)

| 风险阶段 | ChatGPT采取的动作 | 用户侧结果 | |---|---|---| | 命中疑似CSAM查找请求 | 显示明确警告并终止对话 | 对话不能继续 | | 登录用户触发干预 | 隐藏或删除相关对话 | 历史记录无法重新打开 | | 初次严重干预 | 暂停访问24小时 | 退出登录,账号暂时不可用 | | 重复违规 | 延长暂停时间 | 账号限制升级 | | 严重或持续违规 | 永久关闭账号,必要时报告 | 账号访问永久终止 |

这套机制目前主要适用于个人ChatGPT账号的网页端和移动端Chat模式、Work模式,未登录用户也可能看到警告。它暂不覆盖ChatGPT Business、Enterprise、Edu和Healthcare工作区,也没有上线语音模式、Codex及ChatGPT桌面应用。不同国家和地区看到的干预页面可能有所差异。(help.openai.com)

这里存在一个值得关注的产品边界:OpenAI没有立即把同一套账号处置逻辑推向企业工作区,很可能是因为企业产品涉及管理员权限、组织级审计、数据保留和内部调查流程,不能简单复制个人账号的自动退出与封禁策略。

真正难的仍然是误判与人工审核

CSAM分类器最大的风险不是模型完全失效,而是在极低基数场景下对合法内容产生高代价误判。 医学检查、性教育图示、战争或宗教仪式的纪实影像,以及家庭环境中的婴幼儿照片,都可能与模型学习到的部分视觉特征相似。

OpenAI把这些内容明确列入非CSAM数据,并建议部署方在调用分类器前,针对医疗、教育、纪录片和家庭影像建立预过滤流程。这意味着平台不能把风险分数直接连接到永久封号按钮,更不能让模型分数独立决定是否向执法机构报告。(safety-evals-hub-prototype.vercel.app)

模型卡还披露了需要正视的群体性能差异。在默认阈值下,likely-csam信号对标记为黑人群体样本的召回率为61.27%,而其他已披露种族标签约在84.48%至90.32%之间;男性标签样本召回率为60.3%,女性标签则为89.3%。这些标签由大模型自动标注,样本规模也不均衡,因此不能直接用于推断原因,但至少证明该系统尚未达到可以脱离人工监督的程度。(safety-evals-hub-prototype.vercel.app)

OpenAI也没有测试这套分类器在视频帧上的效果。把视频拆成图片逐帧检测听起来简单,实际还涉及采样间隔、连续帧聚合、误报累积以及实时处理成本,静态图像成绩不能直接外推到视频审核。(safety-evals-hub-prototype.vercel.app)

对开发者来说,安全系统要从单点审核变成分层架构

分层儿童安全系统是把哈希匹配、视觉分类、行为信号、人工审核和账号处置串联起来的治理架构。 OpenAI同步发布的开发者指南要求,具有聊天、图片上传、图像编辑、直播、内容发现或支付能力的产品,应在设计阶段评估CSAM、诱骗、性勒索和人口贩运等滥用风险。(developers.openai.com)

一个相对合理的生产流程应当是:

  1. 使用已知哈希库拦截已经确认的违法材料。
  2. 将未命中哈希的图片交给新内容分类器评分。
  3. 结合账号、设备、上传频率和历史行为判断是否存在重复规避。
  4. 将高风险内容发送给经过培训且具备权限的人工审核员。
  5. 根据人工结论执行内容删除、账号限制和法定报告流程。
  6. 持续监控不同内容分布下的精确率、召回率与审核量。

OpenAI将向经过审核的机构免费提供分类器访问权限,而不是向所有开发者无门槛开放。这种限制是必要的:过度公开接口细节和判定边界,反而可能帮助攻击者系统性测试绕过方式;不具备法律与审核能力的团队,也不应该自行存储或反复传输已确认的非法材料。(openai.com)

这次更新的重点,是把安全模型接上现实后果

OpenAI此次更新最值得肯定的地方,是不再把安全能力包装成一个拒绝回答率更高的模型指标。 新分类器减少审核队列、ChatGPT直接中止对话、账号暂停24小时、重复违规升级处置,这些都是可以落地到平台运营的具体动作。

但它也不是一套可以自动运行的「数字执法者」。分类器存在误报与漏报,测试数据存在分布和去重局限,不同人口标签之间还有明显召回差异,平台最终仍要承担阈值设计、人工审核、申诉处理和法律报告责任。

更重要的是,OpenAI首次把「疑似AI生成CSAM」作为独立风险信号提供给更广泛的机构。随着图片生成成本持续降低,行业的治理重心已经从识别数据库里的旧图片,转向识别没有历史指纹的新内容。OpenAI这套系统未必解决了问题,但至少把工具链补到了生成式AI真正制造增量风险的位置。

参考来源

  • https://github.com/openai/CLIP —— OpenAI公开的CLIP项目,可用于理解新分类器采用的视觉编码技术基础;内部分类器并非直接使用该公开模型。
  • https://www.reddit.com/r/ChatGPT/comments/1xxsvvr/extensive_image_censorship_as_of_today/ —— ChatGPT用户对近期图像安全限制变化的社区讨论,仅作为产品体验观察,不作为性能数据依据。

注:本文核心数据依据OpenAI于2026年11月16日发布的官方公告、分类器模型卡及ChatGPT帮助中心整理;按文末域名限制,不在参考来源列表重复列出其官方链接。

相关推荐

查看全部