LLM正在变成认知病毒吗?

最新论文《LLMs as a Cognitive Virus》提出,语言模型的风险不只在于输出错误答案,更在于它们可能把可复制的观点、偏见和错误信息持续写回人类社会与下一代模型,形成类似“认知病毒”的传播回路。
LLM正在变成认知病毒吗?
截至 2026 年 9 月 6 日,论文《LLMs as a Cognitive Virus》把一个已经被讨论多年的问题推到了更尖锐的位置:大语言模型(LLM)不只是信息处理工具,也可能成为能够复制、变形并扩散认知内容的传播系统。
这里的“认知病毒”不是医学意义上的病毒,而是一种比喻:**认知病毒是能够借助人的注意力、信任和传播行为,在个体、平台与模型之间持续复制的观点、叙事或错误信息。**论文真正关心的不是某个模型会不会偶尔“胡说”,而是当模型被广泛部署后,错误内容是否会进入一个更高效、更自动化的循环。
这个判断值得重视。过去,讨论大模型风险时,行业更习惯把问题归类为幻觉、偏见、提示注入或越狱。这些问题大多发生在一次交互内部:用户提问,模型回答,系统评估输出是否合格。但“认知病毒”关注的是更长的链条:模型生成内容,内容影响用户,用户再次发布或用于决策,新的内容进入互联网,下一代模型再从这些数据中学习。
一旦这个链条形成,模型的错误就不再是一次性的输出事故,而可能变成社会信息环境的一部分。

论文提出了什么
《LLMs as a Cognitive Virus》是一篇将大语言模型、认知科学与信息传播风险放在一起讨论的研究论文。它提出的核心观点是:大语言模型可能像一种认知传播媒介,帮助特定信息降低复制成本、提高表达质量,并扩大跨群体传播范围。
这里有三个关键词。
第一是复制。模型可以在几秒钟内把同一个观点改写成新闻稿、论坛回复、短视频脚本、邮件或技术说明。信息本身没有变,但它可以适配不同平台和受众。过去需要几十个人分别撰写的内容,现在可以由一个系统批量生成。
第二是变形。认知内容在传播过程中通常会发生语义压缩、情绪强化和叙事重组。大模型尤其擅长做这件事:它能够把模糊的观点包装成完整故事,把零散事实串成具有因果关系的解释,也可以根据受众的身份改变措辞和论证方式。
第三是持续性。传统谣言的传播速度受限于人工生产能力,而模型能够让内容生产、改写、翻译和回应实现自动化。对于一个本来就具有情绪刺激性的叙事来说,大模型相当于增加了一层稳定的内容生产能力。
这也是论文使用“病毒”这个词的原因:重点不在于内容是否真的像病毒一样有生命,而在于它能否借助宿主系统实现复制和扩散。这里的“宿主”既包括人,也包括社交平台、搜索系统、内容推荐机制和其他模型。
真正危险的不是单次幻觉
单次幻觉是模型生成了与事实不符的内容;认知病毒风险则是错误内容被反复加工后,获得了类似事实的外观。
这两者的区别非常关键。
如果一个模型在内部知识库问答中把某个产品发布时间说错,问题通常可以通过检索、人工审核或用户反馈修正。但如果这段错误信息被模型写成一篇逻辑流畅的文章,再被发布到多个网站,随后被搜索引擎收录,最后成为训练语料的一部分,修正成本就会显著上升。
错误信息在这个过程中会经历三个变化:
- 从孤立回答变成公开文本。 它不再只是某一次对话中的错误,而会获得网页、帖子或报告的形式。
- 从模糊说法变成完整叙事。 模型会自动补充背景、因果和引用风格,让内容看起来更像经过研究的结论。
- 从低可信内容变成统计共识。 当相似说法在不同来源中反复出现,后续系统可能把出现频率误认为可靠性。
这正对应了认知科学中的“现实监控”问题。**现实监控是人们区分亲身经历、他人陈述、想象内容和推断结论的能力。**当人类越来越多地通过模型接触信息时,来源边界可能变得模糊:这件事究竟发生过,还是模型根据相似文本推断出来的?这段话来自专家、媒体,还是由模型模仿出来的?
过去的互联网已经让事实核查变得困难,大模型则进一步降低了“制造可信表达”的门槛。它不一定创造全新的虚假事实,却能把不可靠材料包装得更加连贯、专业和符合特定受众的阅读习惯。
模型会不会吃回自己生成的内容
大模型训练数据的一个长期问题,是互联网语料正在混入越来越多的机器生成内容。模型回流是指模型生成的文本再次进入训练数据,并被后续模型当作普通人类语料学习的现象。
这不意味着所有合成数据都会损害模型。高质量合成数据可以用于补充稀缺样本、训练推理过程、覆盖边缘场景,甚至改善小模型的能力。但前提是数据来源可追踪、质量经过筛选,而且合成内容没有把原本的错误放大。
问题在于,现实互联网很难满足这些条件。大量网页没有清楚标注内容是否由模型生成;同一篇机器生成文章可能被转载几十次;平台为了搜索流量和内容供给,会持续扩大低成本文本的规模。于是,数据集中的重复内容、事实错误和风格模板可能同时增加。
可以把这个过程理解成一台复印机不断复印复印件。每一轮复印都可能丢失细节、放大噪声,最后得到的文本在形式上仍然清晰,但与原始事实之间的距离已经越来越远。
这类风险与所谓“模型坍缩”有关。模型坍缩通常指模型反复学习自身生成的数据后,输出分布变窄、少数模式被过度强化、长尾信息逐渐消失的现象。它不只是语言质量下降,也可能影响模型对罕见事实、少数观点和真实世界不确定性的保留能力。
不过,不能把这篇论文解读成“只要使用合成数据,模型就必然坍缩”。风险大小取决于合成数据占比、筛选方法、来源混合方式、训练轮次和任务类型。论文提出的是传播机制上的警告,而不是一个已经在所有模型上被证明的统一定律。
与传统信息风险相比,LLM改变了什么
大模型带来的变化,不只是信息量更大,而是传播链条中的多个环节都被自动化了。
| 风险类型 | 主要传播方式 | 大模型带来的变化 | 典型后果 | |---|---|---|---| | 传统谣言 | 人工撰写、转发 | 生产速度相对有限 | 局部扩散、内容重复度较低 | | 搜索污染 | 低质量网页争夺排名 | 批量生成文章和关键词 | 用户难以找到可靠原始来源 | | 模型幻觉 | 单次问答输出错误 | 错误回答可被自动发布和再利用 | 错误内容进入公共语料 | | 生成式操纵 | 针对特定群体定制话术 | 自动翻译、改写和情绪适配 | 传播更精准,识别更困难 | | 模型回流 | 合成文本进入训练集 | 机器内容规模化进入数据生态 | 数据分布收缩、错误被放大 |
传统信息传播至少还存在人工生产成本。模型把这项成本压低后,传播系统的瓶颈从“能不能写出来”变成了“有没有渠道发布”和“能不能获得注意力”。
这也是为什么仅靠内容审核很难彻底解决问题。审核系统同样可能使用大模型,而攻击者可以不断改写文本来规避固定规则。更麻烦的是,真正有影响力的内容未必明显违法,它可能只是通过选择性呈现、伪造共识或制造虚假因果来改变人的判断。
这不是把大模型等同于人类心智
把 LLM 称为认知系统,并不等于它拥有与人类相同的意识、意图或世界理解。
大语言模型首先是通过训练数据学习语言模式,并依据上下文生成后续内容的计算系统。它可以展现出稳定的概念关联、推理样式和社会语言行为,但这些能力是否等同于人类意义上的知识、理解和信念,仍然存在争议。
认知科学中一个重要区分是形式语言能力与功能语言能力。**形式语言能力是掌握语法、词汇和模式规律的能力;功能语言能力是把语言放入现实情境,用于理解、行动和达成目标的能力。**大模型在形式能力上已经非常强,能够写代码、总结文档、模仿多种文体,但在功能能力上仍可能受到事实核验、环境反馈和目标稳定性的限制。
这一区分有助于理解“认知病毒”概念:风险并不要求模型真的相信某个错误观点。模型只需要能够识别语言模式、重组叙事并适配受众,就可以参与认知内容的扩散。
换句话说,病毒式传播需要的是复制能力,不一定需要主观意图。
对开发者意味着什么
对开发者而言,这篇论文最有价值的地方,不是要求大家停止使用大模型,而是提醒大家把风险评估单位从“模型回答”扩大到“信息生命周期”。
一个面向生产环境的 AI 系统,至少需要回答以下问题:
- 生成内容是否会自动进入公开互联网?
- 用户是否可能在没有人工复核的情况下把结果用于决策?
- 系统是否保留原始来源、检索证据和生成时间?
- 生成内容是否会被后续训练、搜索或推荐系统再次利用?
- 同一事实经过多轮改写后,是否还能够追溯到可靠出处?
这意味着,RAG、智能体和自动发布系统的设计重点不能只放在回答准确率上。
**来源可追溯性是指系统能够记录一条输出所依赖的文档、版本、检索结果和生成过程。**对于新闻、法律、金融、医疗和公共政策场景,来源追溯应当成为产品能力,而不是出了问题之后再补日志。
开发团队还需要对模型生成内容做数据分层。未经验证的模型输出不能与人工编辑内容、官方文件和原始数据使用同一信任等级。训练管线也应尽可能识别合成内容,至少记录数据来源、抓取时间、重复率和引用关系。
比较实用的工程措施包括:
- 为高风险输出保留检索证据和原文片段,而不是只保存最终答案。
- 对自动发布流程设置人工审批、延迟发布和撤回机制。
- 在训练数据中记录来源标签,区分官方资料、媒体报道、用户投稿和机器生成文本。
- 对高频重复叙事进行聚类,检查它们是否只是同一段错误内容的多次转载。
- 对模型输出进行事实核验、时间核验和实体核验,尤其关注日期、数字、人物和因果关系。
- 给用户明确显示内容来源与置信边界,避免用单一分数制造虚假的确定性。
- 对会影响推荐、信用、招聘、医疗或公共讨论的智能体增加审计日志和权限隔离。
这些措施会增加系统成本,也会降低自动化速度。但对于会把内容发布出去、写回数据库或触发外部行动的系统来说,这些成本本来就应该被计算在产品设计里。
“让模型自我审查”不够
许多系统会让一个模型生成答案,再让另一个模型检查答案。这种方法有用,但不能被当作完整解决方案。
原因很简单:如果两个模型共享相似的训练数据、提示模板和错误背景,它们可能共享同一个错误。第二个模型看起来是在审核,实际上只是用更流畅的语言重复第一种判断。
更可靠的验证应当引入异质来源和外部约束,例如官方数据库、结构化事实库、版本化文档、时间序列数据和人工抽查。对于无法验证的内容,系统需要能够明确输出“不确定”,而不是把语言完整性误当成事实可靠性。
这也是大模型产品竞争逐渐从“谁更会生成”转向“谁更会管理证据”的原因。模型本身的基准分数仍然重要,但在真实工作流里,用户更关心的是:答案错了能不能发现,发现后能不能解释,解释之后能不能修复。
我的判断:风险真实存在,但“病毒”仍是警示性框架
“认知病毒”这个比喻有传播力,也有边界。
它最有用的部分,是提醒行业关注反馈回路。模型不是孤立运行的黑盒,而是嵌入搜索、社交媒体、内容生产和组织决策之中的基础设施。只要输出会被人复制、平台分发或数据管线吸收,模型就可能改变信息生态的演化速度。
它需要谨慎的部分,是不能把所有错误信息都归咎于模型。偏见、谣言和宣传在大模型出现之前就存在,平台激励、媒体结构和人的认知偏差同样是传播动力。模型更像是放大器和加速器,而不是唯一的源头。
此外,模型也可以用于反向治理:帮助识别重复叙事、追踪来源、比较不同版本的说法、发现跨语言传播路径,并为人工核查提供线索。问题不在于大模型必然有害,而在于谁控制传播入口、谁定义可信度、谁承担错误后果。
截至 2026 年 9 月,这仍然是一个需要继续验证的研究框架,而不是已经完成定论的技术事实。真正值得观察的指标包括:机器生成内容在公开语料中的比例、模型回流对长尾事实的影响、错误叙事跨平台传播的速度,以及带有模型参与的内容是否更容易获得信任和转发。
对开发者来说,最实际的结论只有一句:不要只测试模型能不能给出正确答案,还要测试错误答案会不会被你的系统复制、发布、写回并再次训练。
当 LLM 从聊天窗口进入搜索、办公、编程和自动决策系统后,安全边界就不再是一次请求的输入和输出。它已经延伸到数据来源、内容分发、用户行为和下一轮模型训练之中。谁能把这条链路记录清楚、验证清楚,谁才真正理解了大模型产品的风险。



