ai“污染”乱象有解了-koko官网下载

视觉中国供图

《法治周末》记者 管依萌

顶流男星在澳门输掉10亿、张文宏医生发带货视频……ai造假、ai换脸、ai魔改、ai造谣等现象频发，ai工具让犯罪成本大大降低，人们被ai技术带来的乱象困扰已久。

近年来，生成式人工智能、深度合成等新技术快速发展，为生成合成文本、图片、音频、视频等信息提供了便利，在促进经济发展、丰富网上内容、便利公众生活的同时，也造成虚假信息传播、破坏网络生态等问题。社会广泛呼吁加快专门立法、强化技术监管、压实平台责任。

近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），自2025年9月1日起施行。配套的强制性国家标准《网络安全技术人工智能生成合成内容标识方法》同步实施。

国家互联网信息办公室有关负责人表示，《标识办法》旨在促进人工智能健康发展，规范人工智能生成合成内容标识，保护公民、法人和其他组织合法权益，维护社会公共利益。

ai造假乱象频发

中国互联网络信息中心发布的第55次《中国互联网络发展状况统计报告》披露，截至2024年12月，我国有3.31亿人表示自己听说过生成式人工智能产品，占整体人口的23.5%；有2.49亿人表示自己使用过生成式人工智能产品，占整体人口17.7%。在生成式人工智能用户中，利用生成式人工智能产品回答问题的用户最为广泛，占比达77.6%。

国家网信办发布的数据显示，截至2024年12月31日，共302款生成式人工智能服务在国家网信办完成备案，其中2024年新增238款备案；对于通过api接口或其他方式直接调用已备案模型能力的生成式人工智能应用或功能，2024年共105款生成式人工智能应用或功能在地方网信办完成登记。

各行各业都在积极拥抱生成式人工智能带来的智能化升级浪潮。天眼查数据显示，截至目前，我国拥有超过200万家“人工智能”相关企业。

然而，北京盈科（上海）律师事务所数智化建设委员会副主任李悦表示，随着生成式人工智能技术的突飞猛进，海量ai创作的文本、图像、语音、视频在丰富作品内容的同时，也带来了深度伪造、虚假信息泛滥的新挑战，从而引发新的社会冲突。不存在的言论、虚构的图片、以假乱真的虚假新闻、被换的面部和声音严重扰乱公众对真实事件的认知。更有甚者，一些不法分子利用ai合成实施诈骗，稍不留神就可能上当受骗。这些现象不仅削弱了公众对网络信息的信任基础，也衍生出新的不法行为。

2024年1月，香港一家跨国公司遭遇“变脸”诈骗，诈骗者通过公开渠道获取相关资料，利用深度伪造技术合成该公司高管的形象和声音，并制作出多人参与视频会议的虚假视频，诈骗金额高达两亿港元；2024年6月，“男子用ai伪造学生同事裸照”冲上微博热搜，犯罪嫌疑人用ai“一键去衣”技术，深度伪造淫秽图片近7000张，再以每张1.5元卖出，非法获利近万元。

全球安全技术公司迈克菲（mcafee）在2023年发布的调查报告中指出，只需提供3秒至4秒的录音，网络上的免费ai工具就能生成相似度达到85%的克隆人声。在参与调查的7000多位全球受访者中，有70%的人不确定是否能分辨ai合成语音，而大约有10%的人遭遇过ai语音诈骗。

今年全国两会上，人工智能技术的滥用与虚假信息治理成为热议焦点。多位代表委员指出，随着生成式ai技术的迅猛发展，虚假视频、音频、图文等内容“李逵”“李鬼”难辨，不仅误导消费者、侵犯公民权益，更扰乱社会秩序，亟须通过完善立法、强化技术监管、压实平台责任等手段构建综合治理体系。有人大代表提出“加强治理ai换脸拟声违法侵权重灾区”“加强ai深度伪造欺诈管理”等建议。

对人工智能生成合成内容进行标识

其实，针对ai已经有过多番整治。2月21日，中央网信办发布2025年“清朗”系列专项行动整治重点，其中包含了整治ai技术滥用乱象：突出ai技术管理和信息内容管理，强化生成合成内容标识，打击借ai技术生成发布虚假信息、实施网络水军行为等问题，规范ai类应用网络生态。

《标识办法》的出台细化了已有规定。《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》中提出了标识有关要求，《标识办法》作为规范性文件，进一步细化标识的具体实施规范。此外，还重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题，推动由生成到传播各环节的全流程安全管理，力争打造可信赖的人工智能技术。

同时，《标识办法》提出了人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式：显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可以被用户明显感知到的标识；隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

李悦解读，显式标识和隐式标识相辅相成，各有分工。显式标识直接提醒用户内容真实性，降低被误导的风险，就好比影视剧前会提示“本故事纯属虚构，如有雷同实属巧合”。隐式标识则“埋”下可追溯的证据，便于事后核验来源。二者结合起来可以形成“事前警示 事后追责”的全链条治理机制。

《标识办法》实施后如何应对

中国政法大学数据法治研究院教授张凌寒指出，《标识办法》的出台，配合标识相关的技术标准，为监管部门提供执法依据，为企业提供合规指引，将人工智能生成内容标识制度体系进一步完善化、层次化、合理化。标志我国已经形成以行政法规为牵引、配套法律文件、技术标准、实践指南的完整人工智能生成内容的治理体系。

实质上，据李悦观察，许多主流大模型应用及网络平台早已开始履行标识义务。比如，deepseek会在每轮对话框的下方标注“本回答由ai生成，内容仅供参考，请仔细甄别”，抖音以及小红书也会对ai生成内容以及疑似ai生成内容进行标注。

2024年3月27日，抖音安全中心发布《关于不当利用ai生成虚拟人物的治理公告》。公告称，针对违规使用ai生成虚拟人物的行为，平台会对违规视频下架，对违规账号进行取消其投稿和营利权限、抹除账号粉丝、封禁账号等处置，并利用模型、技术识别能力等手段，进行长期系统的识别发现和处置。禁止利用aigc（人工智能生成内容）技术创作、发布侵权内容，包括但不限于肖像权、知识产权等。一经发现，将严格处罚。

李悦说，《标识办法》的出台是对提供ai生成服务的科技企业和各大互联网平台提出了进一步明确的合规义务。为有效遵守法规、降低风险，aigc服务提供者需在技术和管理层面提前做好充分准备。《标识办法》实施后，服务提供者需要在用户服务协议中增加有关内容标识的条款、明确标识的方法样式等，并提醒用户仔细阅读并遵守。换言之，用户在使用ai生成服务时应被告知生成内容将自带标记，不得擅自去除。此外，企业应完善帮助文档或上线弹窗提示，引导用户正确使用标识功能。

李悦补充道，按照规定，提供ai生成服务的企业在办理算法备案、安全评估等监管手续时，需提交符合《标识办法》要求的标识方案的相关材料。这意味着企业要准备好技术方案文档，证明自己的服务如何添加显隐标识、如何防范篡改等。另外，应用商店在上架审核app时也会审查其是否涉及ai生成服务，如果有则要求提供标识实现的说明。因此，ai应用开发商在提交流程上也要做好准备，按官方标准完善相关文档。

张凌寒在接受《法治周末》记者采访时表示，ai造假绝对不仅是技术提供者的问题，提供技术的厂家、传播网络信息的平台及使用者本人，都是整个价值传播链条上重要的一分子，都要承担起防范ai造假的任务。

她建议，要将推进人工智能生成内容治理落到实处。对于比较泛滥的ai虚假信息、视频、图片，可以有更严格的个人信息保护和授权机制去防范，还可以通过提高公众和ai使用者的数字素养来防范ai造假。

责编：韦文洁