从零做一个AI文本检测器

一份 Notebook，把 AI 文本检测拉回工程问题

截至 2026 年 7 月 22 日，一份讲解如何从零构建 AI 文本检测器的教程近日在 Reddit 的 r/MachineLearning 社区引发讨论，作者同时公开了可直接检查和复现的 Jupyter Notebook。这类项目并不新鲜，但它值得关注的地方，是把一个经常被包装成“魔法鉴定”的产品能力，拆回了数据、特征、分类器、阈值和误差分析几项普通机器学习工作。

**AI 文本检测器是一个根据文本统计特征，估计内容由机器生成概率的分类系统。**它检测的不是“作者身份”，也不是文本是否真实、原创或优质，而是目标文本与训练集中机器生成文本之间的分布相似度。

**AI slop 是对低成本、批量生成且缺乏编辑的信息内容的非正式称呼。**它可能表现为重复句式、空洞总结、模板化转折和异常平滑的语言，但“读起来像 AI”并不等于“确定由 AI 生成”。专业公文、客服模板、非母语写作以及经过润色的人类文本，同样可能触发这些特征。

这份开源 Notebook 的最大价值不是提供一个可直接定罪的检测器，而是给开发者一个可拆解的实验起点。Notebook 允许读者逐单元检查数据处理和模型输出，也方便替换语料、分类器与评估方法；但它并没有消除 AI 文本检测本身的边界，生产环境更不能只看一次准确率就上线。

先说结论：分类器容易做，可信检测器很难做

**一个基础 AI 文本检测器用几十行本地 Python 就能训练出来。**最实用的起点不是调用更大的语言模型充当裁判，而是把文本转换为 TF-IDF 特征，再训练逻辑回归分类器。

**TF-IDF 是一种衡量词语或字符片段在当前文档中重要程度的统计表示。**它会降低“的”“and”这类高频公共词的权重，同时提高对特定文本更有区分力的词组、标点组合和字符片段权重。

**逻辑回归是一种输出二分类概率的线性模型。**它训练快、可解释性强，能够直接查看哪些 n-gram 推高了“机器生成”概率，尤其适合作为检测任务的基线。

一个推荐的本地基线可以同时使用词级和字符级特征：词级 n-gram 捕捉“总而言之”“值得注意的是”等表达模板，字符级 n-gram 则对标点、空格、词尾和轻微拼写变化更敏感。

from sklearn.pipeline import FeatureUnion, Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression

features = FeatureUnion([
    ('word', TfidfVectorizer(
        analyzer='word', ngram_range=(1, 2),
        min_df=3, max_df=0.98, sublinear_tf=True
    )),
    ('char', TfidfVectorizer(
        analyzer='char_wb', ngram_range=(3, 5),
        min_df=3, sublinear_tf=True
    ))
])

model = Pipeline([
    ('features', features),
    ('classifier', LogisticRegression(
        max_iter=2000, class_weight='balanced'
    ))
])

这段代码不连接任何外部服务，软件许可成本为 0 元，主要开销是本地内存和 CPU 时间。对于数万条短文本，稀疏 TF-IDF 加逻辑回归通常就能在普通开发机上完成实验；但训练速度与准确率不能证明模型已经学会“识别 AI”，它也可能只学会数据集里的标点习惯、主题差异或来源水印。

第一步：构造真正可比较的数据集

**数据集设计决定了检测器最终是在识别生成方式，还是在偷看题目答案。**最常见的错误，是把新闻网站的人类文章与某个模型生成的产品文案放在一起训练，此时分类器很可能只是在区分新闻和营销文，而不是区分人类和机器。

更稳妥的做法是构造配对样本：给定同一主题、相近长度和相同语言，让人类文本与机器文本尽量只在生成来源上不同。公开语料可以作为起点，例如 Hugging Face 上的 HC3 数据集 收录了人类与模型回答，但这类历史数据不能代表 2026 年的新模型分布，只适合建立基线。

建议至少记录以下元数据：

• label：人类文本或机器文本；
• prompt_id：对应问题或写作任务；
• generator：生成模型及具体版本；
• domain：新闻、问答、评论、论文或营销文案；
• language：语言及地区变体；
• source：数据来源；
• edited：是否经过人类编辑、翻译或改写；
• timestamp：采集或生成时间。

**训练集、验证集和测试集必须按题目或来源分组切分。**如果同一个问题的不同回答分别进入训练集和测试集，模型就可能记住题目词汇，测试分数会显著虚高。

一个拥有 10,000 条样本的实验可以按 80%：10%：10% 分为训练、验证和测试集，即 8,000、1,000 和 1,000 条，但切分单位应是 prompt_id 或来源组，而不是单条文本。随机种子也应固定，并把样本 ID 保存下来，避免每次运行 Notebook 都得到一套不同结果。

from sklearn.model_selection import GroupShuffleSplit

splitter = GroupShuffleSplit(
    n_splits=1, test_size=0.2, random_state=42
)
train_idx, holdout_idx = next(
    splitter.split(texts, labels, groups=prompt_ids)
)

第二步：别迷信困惑度

**困惑度是语言模型对一段文本可预测程度的度量。**文本越符合某个语言模型预期，其困惑度通常越低，因此早期检测器常把“过度流畅、容易预测”视为机器生成信号。

困惑度的问题在于，它衡量的是目标文本与测量模型之间的关系，而不是文本的真实作者。一个现代模型生成的文本，未必会被较旧的测量模型赋予低困惑度；法律合同、天气预报和模板邮件也天然容易预测，因而可能被误判。

**突发度是文本中句长、词汇和结构变化程度的统计描述。**人类写作往往有长短句交替，机器文本则可能更平滑，但这种差异会随着提示词、采样参数和人工编辑迅速消失。

因此，困惑度、重复率、平均句长、词汇丰富度和标点密度更适合作为辅助特征，而不是单独充当判决规则。更大的“裁判模型”也没有从根本上解决问题，因为它同样会受到提示方式、语言、领域和自身训练数据的影响。

| 检测路线 | 软件成本 | 优点 | 主要缺点 | 推荐用途 | |---|---:|---|---|---| | 词级 TF-IDF + 逻辑回归 | 0 元 | 快、可解释、易复现 | 容易学习主题和模板 | 第一版基线 | | 字符级 TF-IDF + 逻辑回归 | 0 元 | 对标点和局部模式敏感 | 跨语言、跨模型漂移明显 | 与词级特征组合 | | 困惑度阈值 | 取决于本地模型算力 | 无需训练复杂分类器 | 强依赖测量模型 | 辅助特征 | | 微调 Transformer 分类器 | 模型通常可本地运行 | 能学习更复杂语义模式 | 训练贵、解释弱、易过拟合 | 数据充足后的升级方案 | | 通用大模型充当裁判 | 按所用产品计费 | 接入简单、可输出理由 | 结果不稳定，理由可能是事后生成 | 人工复核辅助 | | 文本水印检测 | 依赖生成端配合 | 在封闭链路中可更可靠 | 改写、翻译后可能失效 | 自有内容平台 |

这张表反映了一个不太讨喜的事实：更复杂的检测器不必然更可信。对于内部内容治理，透明的线性模型加严格阈值，往往比一个无法解释、版本持续变化的大模型裁判更容易审计。

第三步：用正确指标评估，而不是只报准确率

**准确率是预测正确样本占全部样本的比例。**当正负样本各占 50% 时它比较直观，但现实中的 AI 内容比例通常未知，单独报告准确率几乎没有决策价值。

**精确率是被判为 AI 的文本中真正属于 AI 的比例。**这个指标直接对应误伤风险，学校、媒体和招聘场景尤其应优先关注。

**召回率是真实 AI 文本中被检测出来的比例。**提高召回率通常会增加误报，因此不存在对所有场景都最优的统一阈值。

**假阳性率是人类文本被错误标记为 AI 的比例。**如果系统要对作者采取处罚，假阳性率比“总体准确率 95%”重要得多。

基准测试至少应报告 ROC-AUC、PR-AUC、精确率、召回率、F1、混淆矩阵和指定阈值下的假阳性率，同时给出置信区间。更重要的是，测试集应包含未见过的模型、主题、语言和编辑方式。

基础概率会显著改变检测结果的可信度。假设某平台每 1,000 篇投稿中只有 10% 为机器生成，即 100 篇；检测器召回率为 80%，会找到 80 篇；假阳性率为 5%，又会把剩余 900 篇中的 45 篇人类作品误报。最终 125 篇告警里只有 80 篇是真的，精确率为 64%，而不是宣传页上看起来很高的 80% 或 95%。

第四步：校准概率，再选择阈值

**概率校准是让模型输出分数与实际发生频率尽量一致的过程。**如果校准后的 0.8 分样本中约有 80% 确实属于机器生成，那么这个分数才接近可解释概率；未经校准的逻辑回归或神经网络分数，只能被视为排序信号。

开发者可以在独立验证集上采用 Platt scaling 或 isotonic regression，但不能用测试集调阈值。验证集负责选模型和阈值，测试集只应用一次，用来估计最终泛化性能。

阈值也应跟业务动作绑定，而不是默认设为 0.5：

• 0.00—0.40：不触发告警；
• 0.40—0.80：进入内容来源核验；
• 0.80—1.00：进入优先人工复核；
• 任何分数：都不应直接作为处罚或学术不端结论。

这些区间只是界面设计示例，不是通用标准。真正的阈值应根据验证集成本函数确定，例如把误伤一篇人类稿件的成本设置为漏检一篇机器稿件的 10 倍，再选择预期损失最低的工作点。

第五步：主动攻击自己的检测器

**鲁棒性测试是评估检测器在文本被编辑或分布变化后是否仍然有效的过程。**如果测试集只包含训练时使用的生成模型和原始输出，得到的只是同分布识别能力。

至少要做五组压力测试：

1. 轻度人工编辑：替换 10% 的词语，调整句序或删除模板化结尾；
2. 多轮改写：对同一文本执行缩写、扩写和风格转换；
3. 跨语言翻译：先翻译到另一种语言，再翻译回来；
4. 未知生成器：测试训练集中从未出现的模型和版本；
5. 困难人类样本：加入公文、客服话术、非母语写作和高度规范化论文摘要。

真正需要关注的是各切片之间的性能差，而不是合并后的平均分。一个模型在英语长文上精确率很高，却在中文短评上大量误报，不能被笼统描述成“支持中英文检测”。

**概念漂移是线上文本分布随时间发生变化的现象。**模型更新、用户提示策略变化以及新型改写工具都会让旧检测器失效，因此生产系统需要按周或按月抽样复核，监控分数分布、误报率和不同语言切片的变化。

这份 Notebook 应该怎么复现

**复现开源 Notebook 的正确方式是先锁定环境，再质疑每一个高分。**直接点击“全部运行”只能证明代码当前可以执行，不能证明实验设计成立。

建议按以下顺序操作：

1. 从 GitHub 下载 Notebook，并记录具体 commit，而不是只保存文件名；
2. 导出 Python 与依赖版本，固定随机种子；
3. 检查标签分布、重复文本、缺失值和文本长度；
4. 搜索显式泄漏，例如模型自称、来源标记、固定前缀和特殊分隔符；
5. 按提示、来源和生成器重新分组切分；
6. 先跑多数类、长度规则等弱基线，再跑 TF-IDF；
7. 分别报告同模型测试和未知模型测试；
8. 保存错误样本，而不是只保存一个总分；
9. 校准概率，并根据业务成本设定阈值；
10. 在模型卡中写明不支持的语言、领域和文本长度。

一个实用的结果表应至少长这样：

| 测试切片 | 样本数 | 精确率 | 召回率 | F1 | 假阳性率 | |---|---:|---:|---:|---:|---:| | 已见生成器 | 待实测 | 待实测 | 待实测 | 待实测 | 待实测 | | 未见生成器 | 待实测 | 待实测 | 待实测 | 待实测 | 待实测 | | 人工轻度编辑 | 待实测 | 待实测 | 待实测 | 待实测 | 待实测 | | 中文短文本 | 待实测 | 待实测 | 待实测 | 待实测 | 待实测 | | 非母语人类文本 | 待实测 | 待实测 | 待实测 | 待实测 | 待实测 |

这里故意不填写未经运行验证的分数。开源教程最容易被二次传播的部分恰恰是一个脱离数据切分方式的百分比，而检测器是否有用，取决于它在真实目标分布上的表现。

谁适合做，谁不该直接用

**这类从零项目最适合机器学习教学、内容平台预筛选和内部数据审计。**开发者可以借它完整走过文本清洗、稀疏特征、二分类、概率校准、阈值选择和漂移监控流程，学习价值明显高于安装一个黑盒检测插件。

**这类检测器不适合直接用于学术处分、招聘淘汰或版权归属判断。**AI 生成与人工编辑已经形成连续谱：有人用模型列提纲后自行写作，有人写完后只做语法润色，也有人对生成稿逐句重构，二元标签本身就未必能准确描述创作过程。

更可靠的内容治理方案应该把检测分数与版本历史、引用记录、事实核查、写作过程和人工判断结合起来。对于平台自有生成链路，来源标记、签名和可验证水印通常比事后猜测文本风格更值得投入。

判断：这是好教程，但不是“AI 测谎仪”

**这份教程与 Notebook 的正确定位，是一堂完整的文本分类实验，而不是一个可以鉴定作者的成品。**它用低门槛方式展示了检测器如何被构建，也让开发者看清所谓“AI 味”最终会落到哪些可测量的统计信号上。

它的局限同样明确：文本特征会随生成模型升级而漂移，轻度编辑就可能改变分数，人类模板化写作还会造成误报。任何只展示单一测试集准确率、不给出数据来源与假阳性率的检测产品，都不值得被高风险业务直接采用。

截至 2026 年 7 月，AI 文本检测仍然更像垃圾邮件过滤，而不像指纹鉴定。它可以排序、预警和辅助调查，但不能独立证明一段文字由谁创作。开发者真正应该从这个开源项目带走的，不是一个分数，而是一套可审计、可复现、敢于暴露失败案例的评估流程。

参考来源

• Reddit：Building an AI-text detector from scratch：r/MachineLearning 社区的项目提交与讨论入口。
• GitHub：AI-slop-detector.ipynb：本次项目配套的开源 Jupyter Notebook，可用于检查和复现实验流程。
• Hugging Face：HC3 数据集：人类回答与机器生成回答的公开对照语料，可作为检测器基线数据集。