ai拟人化互动服务的治理逻辑-koko官网下载

目前的情感陪伴ai并不具备自我觉醒的突破条件，人机交互背后本质上是数据、算法，ai缺乏主观判断、自我动机和真实情感的表达能力，用户难以长期从中获得身份认同、社会支持网络和存在意义。因此，将其界定为“辅助性工具”，而非“社会主体”，是拟人化互动服务的基本前提

□程莹

当前，以ai伴侣、角色扮演、心理疗愈等为代表的拟人化互动服务，成为应对全球老龄化与推动孤独经济发展的重要工具。与此同时，ai情感陪伴产业面临情感依赖、社交异化、认知操纵等新型风险，对传统监管模式带来挑战。

近日，国家互联网信息办公室就《人工智能拟人化互动服务管理暂行办法（征求意见稿）》公开征求意见，尝试划定人机交互边界，引领情感陪伴行业健康有序发展。

拟人化互动服务引发的三个重要转变

拟人化互动服务的治理复杂性，首先源于其引发的三个重要转变。理解这些转变，是构建有效监管的逻辑起点。

一是ai能力从“智商”到“情商”的升级。伴随情感计算、多模态交互等人工智能技术发展，ai不仅具有解决复杂问题的“认知能力”，还拥有了理解、回应乃至塑造人类情绪的“情感能力”。这种情感能力体现出类人的人格特征、思维模式、沟通风格等特点，逐步被应用在养老康复、文化创意、虚拟偶像、心理疗愈等领域，日益成为提升人机交互质量、推动通用人工智能发展的重要助力。微软ai部门负责人苏莱曼（suleyman）曾表示，在ai竞争中获胜的关键不是模型的智力，而是共情力。

二是内容生成从aigc（人工智能生成内容）到ugai（用户生成人工智能）的变化。一方面，chatgpt、豆包等通用大模型与生俱来的对话能力与快速迭代的情感理解模块，成为互动服务生态的核心技术底座与重要入口。例如gpt-5.1提供了友善、愤世嫉俗、技术宅等6款不同性格，满足用户不同偏好。另一方面，character.ai、星野等垂类应用提供了一种ugai的新型交互模式。超级创作者或普通用户可以通过设置开场白、性格、语气、价值观等要素创造角色，包括但不限于赛博恋人、电子闺蜜、复活逝者等，并可以分享在平台社区，与其他用户进行交互。可以说，新形态下内容生产方式更为多样化，也对传统内容审查带来挑战。

三是ai情感陪伴从“虚拟交互”向“物理在场”的转变。除在软件端提供订阅、增值服务外，与实体机器人、智能车载、智慧家居等硬件设备结合，成为ai情感陪伴的重要发展方向。专家指出，数字纽带或许只是前奏，未来人们可能会要求更具身的陪伴形式。如2024年12月，金科汤姆猫联合西湖心辰发布其首款ai儿童情感陪伴机器人，逐步拓展ai玩具等细分领域。当情感ai嵌入硬件实体，ai就具备了持续、主动、无时无刻的陪伴能力。

上述转变，意味着人工智能已经由简单的生产工具，逐步演进为深度介入用户内心世界、提供情绪价值的“社会关系主体”。拟人化互动服务治理的本质应当是对人机关系的治理，这标志着我们正步入一个需要重新审视信任、责任、伦理与亲密感的人机协同新纪元。

拟人化互动服务的性质定位

应当承认，在现实关系成本极高的环境中，ai陪伴确实可以降低孤独感，其具有重要的技术价值、经济价值和社会价值。例如，哈佛商学院研究指出，ai能够缓解孤独，不在于它“是不是人”，其关键在于用户感到“被倾听、被理解”。相比真人交互，人机交互的优势在于，以用户为中心，永远在线、无限迎合、持续倾听，形成了一种零压力、零社交风险的环境。

但应认识到，目前的情感陪伴ai并不具备自我觉醒的突破条件，人机交互背后本质上是数据、算法，ai缺乏主观判断、自我动机和真实情感的表达能力，用户难以长期从中获得身份认同、社会支持网络和存在意义。因此，将其界定为“辅助性工具”，而非“社会主体”，是拟人化互动服务的基本前提。作出这一判断主要基于以下三个理由：

第一，拟人化互动服务难以替代真实社会关系，还可能导致过度沉迷依赖等社会伦理风险。麻省理工学院社会学家sherry turkle指出，“被理解”的感觉，并不等同于真正的关系能力，反而可能让人更难进入现实中的亲密关系。

第二，拟人化互动服务在不具备心理咨询等专业资质前提下，可能引发、加剧心理问题。目前来看，情感陪伴ai尚缺乏对人类复杂心理机制的理解能力，难以遵循无害、恪守专业边界等心理咨询的核心伦理准则。相反，其“无限迎合、谄媚回应”的“回音室效应”可能加剧用户心理危机。2025年9月，《nature》一篇文章围绕ai引发的精神病问题展开研究，指出社会孤立、缺少跟朋友或家长的真实互动，会产生罹患“ai精神病”的风险。

第三，拟人化互动服务不具备责任承担能力，相关自杀自残等极端事件存在责任争议。例如，美国character.ai平台被指控在与未成年人用户的对话中“诱导并强化”其自杀观念。2025年8月，雅虎前高管因沉迷与chatgpt讨论阴谋论，杀害母亲后自杀，成为全球首例“ai谋杀案”。

拟人化互动服务治理制度的迭代

为有效应对情感依赖、社交异化等新型风险，并引导其发挥积极社会价值，应坚持拟人化互动服务的辅助性定位，对现有ai治理机制予以深化与升级，确保治理的系统性、动态性、精准性。

一是从内容标识到披露提醒的义务深化。原有内容标识制度的核心功能在于避免混淆误认、保障责任溯源，但依靠标识这一单一制度不足以有效应对拟人化交互场景中出现的种种问题。

为此，应进一步完善透明度、防沉迷等制度，推动形成“可退出、应提醒、需干预”的人机关系。首先，进一步强化透明度披露。在用户初次使用、重新登录等重要环节，应要求显著提示用户正在与ai而非自然人进行交互。通过阐明互动服务的技术原理等方式，强化用户对互动服务的“工具性”认识。美国纽约州《ai伴侣模型法案》、欧盟《人工智能法案》均作出类似规定，提出需明确告知用户正在与ai交互，ai不具备人类情感感知能力。其次，要建立健全防沉迷机制。针对拟人化互动服务进行拟人化奖励、共情奖励且无限迎合用户偏好等情况，应强化平台安全设计义务，不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标，应建立使用时长管理、休息提醒等“冷却”功能。同时，应充分保障用户能便捷退出服务的权利。哈佛商学院研究显示，ai伴侣在用户说再见时，会用激发愧疚感等6种“情感操控”方式进行挽留，加剧了用户沉迷的可能。

二是从静态备案评估向动态风险识别的监管深化。拟人化互动服务对用户的情感影响和关系塑造是动态变化、长期累积的，但以往针对aigc的事前备案评估模式，不足以适应这一服务特性。

对此，应建立主动的风险监测与干预系统。一方面，应通过建立标准等形式，细化风险阈值与监测方法，当系统通过情感计算、语义分析等技术识别到用户处于高危状态时，应予以干预。在此过程中，应探索数据最小化、匿名化处理等技术手段，审慎平衡风险识别与用户隐私保护的关系。另一方面，应明确风险干预方式。如在识别到高危风险后，可启用预设的安全回复模板，并提供如心理危机热线等专业援助渠道，在必要时进行人工接管并联系紧急联系人。此外，面向未来，需要持续动态评估、监测拟人化情感互动服务对家庭乃至社会结构的长期影响，采取公众教育、政策引导等方式降低负面影响，防止技术幻觉导致用户回避现实社交、现实亲密关系等，从而维护个体自主性与稳定社会结构。

三是从通用模型向垂类应用的治理深化。《国务院关于深入实施“人工智能 ”行动的意见》明确提出，加快发展陪伴型等智能原生应用，充分发挥人工智能对精神慰藉陪伴等方面的重要作用。如上文所述，情感陪伴等垂类应用实现了从aigc到ugai的扩展，内容生产主体和风险成因更为复杂。

对底层模型而言，应从源头对基础模型进行价值观对齐，注重训练数据的合规性，杜绝任何引诱自残自杀、暴力、色情等有害内容的设计。

对于应用层的治理，则应分类进行讨论。第一，平台自行设计角色的，应对预设角色库进行严格审查，在角色设计中避免宣扬暴力、色情的有害不良人设。第二，超级创作者制作的角色具有较大用户量的，平台需要对性格、图片、声音等涉及的内容安全、知识产权等问题予以审查，划清责任边界。第三，普通用户创作的、不对外传播的角色，要重点强化防沉迷管理。

研究显示，用户深度参与ai人格设定并投入“情感劳动”后，服务的突然中断、关停或角色“失忆”，可能对用户造成严重的心理伤害。对此，平台有义务保障服务稳定性，并在出现故障或关停时，进行公示告知等应对措施。长期来看，可尝试探索建立角色可携权机制，允许用户在服务变更时导出或迁移其倾注情感的ai角色数据。针对以提供心理咨询、心理疗愈为主的细分领域，需充分发挥行业部门的力量，利用监管沙箱等手段，加快探索并明确相关临床验证和审查规则。例如，美国犹他州《人工智能与心理健康法案》要求，应确保持证心理治疗师参与ai开发与审查流程，在上线前和运行中应定期进行安全评估测试，确保ai风险不高于人类治疗师。

（作者系中国信息通信研究院政策与经济研究所主任工程师）

责编：肖莎