当ai被“黑灰产”肆意滥用-koko官网下载

不法使用ai的行为不仅侵害企业利益、污染网络生态，更在根本上侵蚀着ai行业健康发展的根基，“究其原因，是技术的低门槛滥用、低成本高回报的利益获取模式以及行业初期‘重增长、轻风控’的畸形发展逻辑，共同催生的恶果”

《法治周末》记者 管依萌

近日，距离2025年广州国际车展闭幕仅3天时，一段“车模不雅视频”突然在网络上快速扩散。画面中，在小鹏汽车展台的新款车型旁边，一名身着绿色裙装的女子做出各种低俗不雅动作。

小鹏汽车法务部官方微博随后发表声明，认为该视频为“ai技术生成”，强调“从未邀请模特及演艺人员”。小鹏汽车工作人员迅速收集证据，并第一时间向属地公安机关报案。

12月10日，广州天河警方发布警情通报称，经查，李某为炫耀个人技术，利用ai技术生成虚假视频并在社交平台发布，造成不良社会影响。警方已依法对李某作出行政拘留10日的处罚。

近年来，生成式人工智能的浪潮席卷全球，在重塑生产效率与创造模式的同时，其强大的能力也被“黑灰产”盯上。

图片、声音、视频、人脸都能被仿制

“你是温峥嵘，那我是谁？”近期，演员温峥嵘自爆遭ai盗播，多个直播间出现她的带货形象。12月1日，温峥嵘在个人社交媒体平台发出严正声明，并晒出警方受案回执。

被ai换脸技术“困扰”的，不仅是明星，普通人也不能幸免。

今年8月，电子科技大学人工智能专业研究生校外导师高某收到一条诈骗短信，里面是一段利用ai换脸技术篡改过的酒店房间内的不雅视频，被换脸的正是他自己；9月，一名高校研究生小张被ai换脸技术伪造的“好友”视频通话误导，转账20万元后才发现受骗；10月，青岛保时捷中心女销冠牟女士通过社交媒体称，近期发现由ai恶意合成的虚假视频以及与其面部侧脸局部相似的不良视频，对其进行诽谤和侮辱……

还有人利用ai换脸技术非法侵入相关计算机信息系统。

6月，湖北省武汉市警方接到一公司报警称，自家精心运维的社交媒体账号密码被更换，甚至连公司法定代表人信息都被篡改。办案民警指出，犯罪嫌疑人通过ai软件骗过人脸验证系统的镜头。据警方介绍，在灰产链条中，犯罪团伙在受害人不知情的情况下，篡改企业信息，对企业进行非法控制。

此外，不法分子还会用ai技术模拟人声进行诈骗。

近日，湖北省黄石市黄石港区人民法院审理了一起电诈案件。黄石市的三名老人接到以孙子名义打来的求助电话，电话中传来的是孙子的声音。

法院审理认为，该案中的境外诈骗团伙使用的ai拟声能高度还原人声音色，并实现实时对话交互，老年人对现代ai技术较为陌生，难以识破电话另一端的声音系伪造，是诈骗得逞的关键。法官介绍，目前，诈骗分子利用ai新型技术实施诈骗主要有“拟声”“换脸”等手段，即通过模拟他人声音或形象骗取信任，进而诈骗钱财，受害人往往难以在第一时间分辨出真伪，落入对方圈套。

还有部分不良消费者将ai技术运用在日常购物的退款过程中。

11月17日，江苏省苏州市经营大闸蟹生意的高女士根据订单发出了一箱8只装大闸蟹。第二天，高女士收到买家反馈说8只螃蟹死了6只。

买家发来的照片显示，6只螃蟹腹部朝上躺在台盆边。高女士要求买家录了两段视频后，便按照平台赔付要求，向买家赔付了195元。第二天，重新检查买家发来的视频后，高女士发现买家发来的图片和视频中，前后死蟹公母数明显不对。

随后，高女士将此事发在了网络上，在广州网友的联动下，广州当地公安部门立即介入调查。警方的处理结果显示：买家利用ai技术制作收到6只“死螃蟹”的虚假视频，要求商家退款195元，实施诈骗。该当事人11月28日被公安机关查获。根据相关法规，决定给予该当事人行政拘留8日的处罚，追缴违法所得人民币195元。

高女士的遭遇并非个例。对于依托线上销售的商家来说，买家ai造假索赔成本低、识别难。

陕西省西安市一位陶瓷店店主王强表示，他的客服账号曾收到一条售后申请，买家称“杯身有裂纹，申请‘仅退款’”，并附上了杯身有多条裂纹的图片。出于谨慎，王强邀请买家视频验证，买家却未接受，还表示不用退款了。这一异常举动让王强产生怀疑，他使用ai检测工具对图片进行分析，系统显示该图片“92%概率为ai生成”。

除利用ai软件制作假图外，围绕“仅退款”已衍生出更为系统的灰色产业。一个教授该“技术”的“师傅”表示，支付288元学费即可传授“仅退款”窍门，并宣称一个账号约可成功退款30次。

网经社电子商务研究中心主任曹磊称，“仅退款”灰色产业已经不再是零散的“薅羊毛”，而是演变为组织化、专业化的黑色产业链。从编写“教程”、开发造假工具（如ai修图软件）、收购他人账号，到提供“代退”服务，这条产业链分工明确，隐蔽性强，打击难度大。原本，商家可以投入资源提供“无障碍退换货”“免费试用”等创新服务来提升竞争力。但在灰色产业的威胁下，这些旨在建立信任的优质服务反而可能成为被攻击的漏洞，使得商家在服务创新上畏首畏尾。

曹磊总结道，面对ai技术滥用带来的新挑战，没有单一角色能独善其身。它需要监管部门划定底线、平台织密防护网、商家提升自卫能力以及每一位消费者诚信参与，共同构成一道坚实的防线。

易得的技术vs可观的收益

《法治日报》律师专家库成员、北京金诚同达（上海）律师事务所管理合伙人、高级合伙人张云燕表示，目前利用ai伪造低俗、虚假内容的行为层出不穷，有关社会安全问题面临严峻挑战。

实际上，在规范ai生成内容上，我国已有多部法律法规作出要求。《中华人民共和国网络安全法》和《生成式人工智能服务管理暂行办法》提到，内容涉及个人信息的，要履行个人信息保护义务。提供者应当按照相关要求对图片、视频等生成内容进行标识。提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。9月1日起施行的《人工智能生成合成内容标识办法》则强调，任何组织和个人不得恶意删除、篡改、伪造、隐匿生成合成内容标识，不得通过不正当标识手段损害他人合法权益。

张云燕告诉记者，不法使用ai的行为不仅侵害企业利益、污染网络生态，更在根本上侵蚀着ai行业健康发展的根基，“究其原因，是技术的低门槛滥用、低成本高回报的利益获取以及行业初期‘重增长、轻风控’的畸形发展逻辑，共同催生的恶果”。

张云燕补充道，如今利用ai生成逼真的图片、视频或音频的技术门槛已大幅降低，各种ai生成类软件层出不穷，定制化需求通过ai生成软件可以轻松达到。这种技术的“易得性”，使得不法分子实施造谣、诈骗、身份盗用等行为的成本急剧下降，而深度伪造内容难以被普通用户即时甄别，又为其提供了传播上的隐蔽性。

张云燕说，目前各类ai大模型基本为免费使用，仅有部分人员需要使用付费api接口，因此ai生成的一些基础产品几乎无成本，利用一些ai生成的产品却能获取高回报的利益。

张云燕指出，在资本激烈追逐、市场竞争白热化的环境下，许多ai初创公司将全部精力倾注于产品研发和用户增长，对后台的风控体系建设投入不足。更有甚者，为了向资本市场展示优良的用户增长数据，不断开发各项客户定制化功能，功能存在一定的法律风险，仅在条款中要求客户进行自我限制，而不加以监管，实为一种放任其野蛮生长的态度。这种只顾增长的短视策略，虽然短期内可能带来用户数的膨胀，但也随之产生了相应的法律和社会问题。

为应对ai合成技术滥用风险，规范电商直播行业秩序，近日，北京市消费者协会联合京东、美团、拼多多、唯品会、抖音、快手、小红书、微信直播8家电商平台，正式签订全国首份《促进ai技术规范应用承诺书》，从技术标识、内容审核、责任追溯等环节建立企业自律规范，提出六大具体举措：坚守法律底线，明确合规边界、强化标识要求，保障知情权利、技术监测与人工复核结合，阻断违规传播、提供工具支持，引导主动合规、严打标识造假，维护制度公信、强化培训赋能，提升行业认知。划定ai技术应用“合规红线”，压实平台企业主体责任，切实维护消费者合法权益。

技术、生态、法律需协同进化

今年5月16日，由浙江省互联网协会与中国计算机行业协会黑灰产检测与反制工作委员会联合主办的“ai与大数据驱动下的黑灰产治理”数享会上，与会者指出，网络“黑灰产”产业链条盘根错节，治理工作面临多重挑战，尤其在信息通信领域，“黑灰产”侵袭态势严峻复杂。网络黑灰产治理是一项覆盖多领域、多环节的系统性工程，需构建协同共治的综合治理格局，通过强化电信、公安、市场监管等多部门跨领域、跨层级的高效联动，形成打击合力。

与会者提出，“黑灰产”治理是技术、生态、法律协同进化的长期工程。在ai与大数据深度赋能的当下，唯有凝聚政、企、学、研、用多方力量，构建“技术创新—标准共建—人才储备—生态联动”的全链条体系，方能实现从被动防御到主动治理的跨越，为数字经济高质量发展筑牢安全防线。

张云燕表示，目前，国内外的实践都证明了，如果放任ai产业野蛮生长，必然会导致行业与社会乱象丛生，“但是我们也必须认识到，ai作为一个新生的技术产物，其行业尚处于摸索阶段，盲目打压创新是不可取的，而应当通过法律、技术、行业与社会多方协同构建一个有序、透明、可追责的治理路径，既保障创新活力，又防范风险，实现ai健康发展”。

她补充道，ai治理应基于法律框架进行，明确平台、开发者和用户的权利义务。例如，生成式ai在使用koko官网下载的版权作品训练时，应明确合法获取义务、内容标识义务和侵权责任。

而平台作为ai内容生成与传播的核心控制主体，张云燕认为其具有初步的内容审查与风险提示义务，平台应告知用户潜在法律风险，建立内容纠错和举报机制，让用户参与监督，形成“技术 用户”双重治理路径。

5月19日，抖音发布关于“ai起号”专项治理行动的公告。公告称，近期，抖音开展专项行动治理“ai起号”现象，重点整治利用ai生成低俗猎奇视频、ai生成虚拟外国幼儿教育专家教授育儿内容、ai视频账号售卖教程、ai账号秘籍传授、引导规避平台ai标注、转让销售ai虚拟账号等行为。在平台站内，累计清理311条违规内容，针对心×甜、向×ai同城流量、瑞××ai智习室等15个严重违规账号进行了封禁。

公告指出，人工智能技术的迅猛发展极大地丰富了互联网内容生态，但部分人员将ai用于造假、利用ai起号，贩卖ai账号，严重破坏平台生态。抖音表示，将持续加大对各类涉ai生成相关违规行为的打击力度，不断完善平台内相关内容的治理能力。

“对于监管部门而言，还需注意的是，应保持适度、透明的监管，但行政规制不能过度干预市场。”张云燕指出，事实上，通过近年来的密集立法，我国已不缺乏用于规制ai的法规，监管部门应当做好制度整合与规则协调者的角色。ai技术高度专业化、跨领域特征显著，传统部门分割式监管容易导致治理真空或监管重叠。政府有必要通过制度层面的统筹安排，加强著作权行政管理、网信监管、数据安全监管等部门之间的协同，形成“一次备案、信息共享、协同监管”的治理机制，在降低企业合规成本的同时，确保监管的可执行性与有效性。

此外，政府还应在ai治理中承担公共利益兜底者的职责。张云燕建议，针对数据泄露、大规模侵权等可能产生广泛社会影响的风险情形，政府可以探索建立监管基金或风险准备金制度，用于对受害者的即时救济与损害弥补。同时，对于可能损害不特定多数人利益或公共秩序的行为，应通过行政执法或授权相关主体提起公益诉讼，确保公共利益在ai商业化进程中不被边缘化。通过这种动态、分层、协同的治理模式，政府不仅能够有效防范ai技术带来的系统性风险，也能够为ai产业的长期、健康发展提供稳定而可预期的制度环境。

责编：肖莎