风险研判丨警惕新型AI谣言传播扰乱视听 需综合应对提高公众防御能力
在生成式人工智能技术快速发展的背景下,AI技术为信息生产与传播带来了前所未有的效率提升,同时也催生新型网络谣言风险。其低成本批量制造的高逼真度虚假信息已达到人类创作水平,对网络治理和社会信任构成挑战。对此,需构建一套常态化监测预警系统,对生成式AI谣言进行算法屏蔽,削弱信息茧房效应;完善法律追责,平衡违法成本和最终承担责任之间的比例;提升公众技术素养,重建“理性精神”以应对潜在风险。
SHIJIANGAIKUANG
今年以来AI造谣典型事件概况
上海“霸王茶姬”遭AI谣言攻击案
年初,上海市公安局长宁分局接到“霸王茶姬”茶饮企业报案称,多个自媒体平台出现大量针对该企业及创始人的不实信息,部分区域门店单日营业额同比下降超20%。经查,嫌疑人姚某为提高账号流量获取广告收益,花费800元在网上找到卢某代笔。卢某接单后,利用AI生成了一篇涉及该茶饮企业的文章。此外,发布不实信息的还有多位嫌疑人,分别通过AI洗稿、盲目转载等方式参与谣言传播,以达到引流博取热度、实现快速涨粉等目的。
徐某虚构“顶流明星
在澳门输10亿”案
3月10日,一则“有顶流明星在澳门输了10亿”的信息被大量传播,引发网民热议和各种猜测,相关话题频繁登上热搜热榜。后经公安网安部门查明,网民徐某强(男,36岁)为博取流量、谋取非法利益,于使用软件“某书”中AI智慧生成功能,输入社会热点词制作了标题为“顶流明星被曝境外豪赌输光十亿身价引发舆论海啸”的谣言信息,并通过互联网平台对外发布。
山东滕州“幼儿园大火”谣言案
6月18日,山东滕州公安网安部门处置一起使用AI工具编造传播“幼儿园突发大火”网络谣言案件。网民刘某某为吸引眼球、获取流量,使用AI工具,在某互联网平台编造发布“幼儿园突发大火,通道被堵死,32名孩子被困”虚假信息,谣称“后门通道被临时堆放的教具堵死,32名孩子被迫原地躲避,直到消防员破拆窗户才脱险”“该园未通过最新消防验收”。相关内容均毫无事实依据,当地公安机关已依据相关法律法规对刘某某作出行政处罚。
TEDIANFENXI
二、AI造谣特点分析
内容特征:高迷惑性与批量化生产
AI生成内容常包含时间、地点、人物等具体要素,并采用“新闻报道”式行文搭配伪造图片、视频,瓦解传统“眼见为实”的信任基础,构建高仿真谣言内容。如“幼儿园大火”谣言案中,文章嫁接真实事件片段并虚构“消防通道堵塞致32名儿童被困”的细节,具有较高迷惑性。同时,造谣者仅需输入关键词,AI即可自动生成完整文章,利用AI调整原文表述、降低重复率后还可绕过平台审核,批量生成大量伪原创谣言。
传播机制:算法助推与多层级操作

人工智能凭借其自主学习和分析能力能够实现在传播过程中的精准渗透和动态演化,定向推送符合网民个性化的谣言信息。且技术滥用形成的黑色链条分工明确,更借助算法机制实现内容裂变式扩散。如在“上海茶饮”谣言案中,犯罪分子在“热点搜集→AI编剧→多账号分发”形成闭环,通过百余个自媒体账号同步发布,并覆盖微信、微博等十余个平台,实现从代笔到洗稿的多层级操作。
技术特点:溯源难度大与治理滞后
AI生成内容逼真度超越人类辨别能力,常规检测工具难
以识别。其数据来源广泛且动态更新,同一谣言可生成多个版本,同时采用区块链匿名存储和IP跳转技术进一步增加溯源难度。同时,AI不仅可能成为谣言的始作俑者,还可能充当谣言传播的“帮凶”,但平台审核技术相对滞后。例如3月18日,成都官方辟谣了“成都艾滋病17万人”的虚假信息,随后就有网民向DeepSeek询问四川艾滋病感染人数,AI给出的答案仍然是“新增17.47万例”,造成大范围的舆论误解。
FENGXIANYANPAN
风险研判
垃圾信息泛滥,扰乱公众视听
随着AI生成、伪造或篡改文本、图片、音频和视频的现象趋于普遍,大量粗制滥造、真假难辨的“信息垃圾”充斥舆论场。这些垃圾信息数量庞大,传播路径复杂,内容碎片化难以溯源。同时,由于AI背靠庞大数据库,造谣者可以借助AI轻松突破知识壁垒,为达到某种目的针对目标人群输出特定观点或情感化内容,致使谣言呈现一定的针对性和私密性,在扰乱公众视听的同时难以被快速捕捉。
辟谣成本增加,加剧舆论场混乱
由于AI谣言生成呈现速度快、批量化的特征,尤其是关于公共安全的谣言内容辟谣速度难以跑赢谣言传播速度。另外,由于AI无法识别信源的真实性,因此可能会将过往的谣言内容二次输出,导致谣言再次回流舆论场,辟谣的同时还会有源源不断的新谣言出现,使得混乱局面难以终结,加剧舆论场混乱。
侵蚀公众认知,影响社会稳定
随着AI技术的发展,部分公众对AI技术产生一种“技术崇拜”心态,一些盲从或依赖心理在公共安全、重大突发等事件中体现得最突出。比如事件发生后,公众对伤亡人数、救援进展等方面的信息需求十分急切,而趁机侵入的AI谣言生成虚假现场图片,以文字形式夸大伤亡人数和破坏程度等,无疑会引发公众强烈焦虑感。当肉眼难辨的AI工具输出的信息越来越像人类创作的内容,真实和虚假的边界逐渐模糊,就会严重影响社会稳定。
CELUEJIANYI
应对策略建议
构建监测系统,及时人工干预
为有效预防生成式AI造谣,需构建一套常态化监测预警系统,在技术上能够实现对各类社交媒体、网络论坛、新闻平台等数据进行实时抓取与分析,对疑似生成式AI制作的图像、视频、音频等伪造内容筛查识别和自动预警,将相关信息推送给公安机关和相关监管机构进行核查和人工干预,对生成式AI谣言进行算法屏蔽,并及时推送多样化的真实信息,削弱信息茧房效应。
完善法律追责,加大违法成本
法律应界定生成式AI造谣的具体行为,包括虚假信息的生成、传播层级及其对社会造成的不同档次危害。同时,平台要严格履行对AI生成内容的监督和消除虚假信息传播的责任,对未能履行相应义务的企业进行处罚。对于造谣者,除了进行行政拘留、罚款和没收违法所得以外,还应适当提高罚款比例以及采取多平台账号封号、网络账号谣言传播公开道歉和净网行动义务参加等措施,平衡违法成本和最终承担责任之间的比例。
提升技术素养,重建“理性精神”
一方面,大众应当增强自身理解技术的能力,主动了解生成式AI技术的基本原理,并重建数字时代的“怀疑精神”,养成“二次验证”的习惯,对敏感视频、图片要多角度佐证;另一方面,社会也应为公众技术素养的提升创造良好的环境。如社区组织形式多样的科普讲座,向居民普及AI技术的常识、应用以及潜在风险;企业则可通过“红队演练”提升员工应对AI谣言的防御能力。