​未成年人网络保护的治理范式正在发生转变-koko官网下载

可考虑将“设计安全”纳入数字治理框架；人工智能科技伦理审查应关注ai应用对未成年人的安全和健康影响；可以“适龄设计”理念平衡保护与发展

■智道

栏目主持人：於兴中

□曹建峰

社交媒体对未成年人的负面影响并非新问题，但美国加州法院近期认定基于推荐算法等技术的社交媒体平台存在导致未成年人沉迷和心理健康问题的设计缺陷，却是史无前例的。这是美国历史上首次由陪审团裁定社交媒体平台应为其产品设计对未成年人造成的心理健康损害担责。就在前一天，美国新墨西哥州一陪审团在另一案件中判决meta赔偿3.75亿美元，因为该公司在其社交平台instagram和facebook上怠于保护儿童用户免受侵害。舆论将这一系列裁决称为“硅谷的烟草时刻”，其可能对在线平台的设计和治理产生深刻影响。

“平台设计”成社交媒体诉讼的新焦点

加州案件的法律意义远超赔偿金额本身。长期以来，美国社交媒体平台依靠《通信规范法》第230条（俗称“230条款”）确立的避风港原则，近乎完全隔绝了因用户内容而引发的侵权责任。230条款因此被称为“创造互联网的26个单词”，因为其构成了美国互联网产业数十年繁荣的法律基石，也是网络平台在面对内容侵权诉讼时几乎百战百胜的护身符和免死金牌。近年来，美国寻求改革230条款，但尚未形成改革共识。

加州案件的突破在于，原告并未针对社交平台上的内容，而是针对平台本身的设计提起诉讼。社交媒体因无限下滑、自动播放、算法推荐、美颜滤镜、推送通知、点赞机制等功能被定性为缺陷产品。原告主张社交平台明知其设计对未成年人具有成瘾性和危害性（例如可能影响未成年人的心理健康），却未采取合理防范措施，也未充分警示相关风险。这是历史上第一次社交媒体应用被视为缺陷产品。这一路径将法律焦点从“平台上有什么内容”转向“平台为什么这样设计”。目前美国已有数千起类似案件，加州这个案件作为首个获得陪审团裁决的案件，其示范效应不可低估。

与此同时，ai社交陪伴应用的风险日益凸显。character ai、chatgpt等ai聊天机器人已关联多起青少年自杀事件并引发诉讼。相较于传统社交平台，ai陪伴应用能模拟人类情感、生成量身定制的内容、与用户形成高度个性化的“准社会关系”甚至亲密关系，其对心智尚未完全成熟的未成年人的影响不容小觑。国外相关研究认为这类应用可能“培养情感依赖、助长有害行为、使用户接触不当内容”，其安全性需被认真对待。在garcia诉character ai案中，美国佛罗里达州联邦法院驳回了被告关于聊天机器人的输出属于受保护言论的抗辩，而是将ai应用视为产品，允许推进产品责任主张。面对压力，character ai已取消18岁以下用户的开放式聊天功能，openai也承诺将青少年安全置于优先位置。

从社交媒体到ai陪伴应用，数字平台治理和未成年人网络保护的法律逻辑正在发生转变：不仅关注社交媒体、ai聊天机器人等数字应用上的内容，而且关注这些数字应用本身的设计。

从内容安全到设计安全的治理思路转变

面对社交媒体与人工智能带来的青少年安全问题，各国应对策略虽存在一定分野，但呈现从规制内容到规制设计的转变。英国《在线安全法》建立了平台的儿童安全保护义务，包括采取有效的年龄验证措施防止儿童接触色情内容以及鼓励自残、自杀或饮食失调的内容。澳大利亚率先实施面向16岁以下未成年人的社交媒体全面禁令并辅以高额罚款，堪称全球最激进的立法尝试，可能对世界其他国家产生示范效应。

美国联邦政府和各州推动专门立法。在联邦层面，《儿童在线安全法》要求平台对未成年人用户履行合理注意义务以防止伤害，但该法未能通过且前景不明；coppa 2.0（《儿童和青少年在线隐私保护法》）拟将保护范围从13岁以下扩展至17岁以下，并禁止对儿童和青少年投放定向广告，该法已获参议院通过；国会议员提出的《guard法案》拟全面禁止向未成年人提供ai聊天机器人。在联邦监管框架缺失的情况下，各州纷纷出台社交媒体、人工智能与儿童保护相关的立法，呈现碎片化态势。例如，加州sb 243法案作为美国首部针对ai陪伴机器人的安全立法，建立了ai身份披露、休息提醒、未成年人性内容屏蔽和自杀预防协议等要求；美国纽约州也出台了类似立法。

欧盟采取的“综合性、预防性”路径，尤为值得关注。近年来，欧盟开始重点关注数字应用的设计安全和设计公平问题。《数字服务法》第28条未成年人保护指南要求平台将未成年人账户默认设为私密状态，修改推荐算法以降低有害内容暴露风险和“信息茧房”风险，默认关闭自动播放、推送通知等助长过度使用的功能，并对平台内嵌的ai聊天机器人设置安全防护措施。欧洲议会则通过了“关于未成年人网络保护的决议”，呼吁将社交媒体、视频分享平台和ai陪伴应用的最低使用年龄统一为16岁（13岁至16岁需家长同意，13岁以下绝对禁止）；要求对未成年人默认禁用或禁止无限下滑、自动播放、下拉刷新、奖励循环、有害游戏化等成瘾性设计功能。欧盟ai法案明确禁止任何利用因年龄而产生的脆弱性的ai系统，并将教育类ai应用归类为高风险，但ai聊天机器人目前只需满足基本的透明度义务即可。此外，欧盟已将制定《数字公平法》（digital fairness act）提上日程，旨在规制数字产品与服务的设计，要求在设计阶段即遵循公平性、透明性与可控性原则，从而实现“设计公平”（fairness by design）。欧盟的一系列数字立法形成了涵盖内容、数据、市场竞争、数字产品安全和设计等多个维度的全面监管体系。

可见，规制数字产品与服务本身的设计，而非仅管理其中的内容，正成为全球数字治理的新焦点。

他国探索带来的三点启示

从防止未成年人接触违法有害内容，到实施网络防沉迷要求，再到推广数字应用的“未成年人模式”，我国已构建起全球最为全面、系统的未成年人网络保护制度框架。在ai领域，《生成式人工智能服务管理暂行办法》要求服务提供者采取措施防止未成年人对生成式ai的过度依赖或沉迷；《人工智能拟人化互动服务管理暂行办法（征求意见稿）》建立了ai情感陪伴服务的未成年人保护义务，包括未成年人模式、使用时长限制、监护人明确同意和控制等。在此基础上，他国的相关探索有三点启示值得重点关注。

其一，可考虑将“设计安全”纳入数字治理框架。无论是将产品设计缺陷应用于社交媒体平台的加州案件，还是欧盟已出台的新的产品责任指令和拟制定的《数字公平法》从产品安全、设计公平等维度规制数字产品与服务的设计，一个清晰趋势已经形成：监管者和司法者不再仅追问“数字应用上是否出现有害内容”，而是开始追问“数字应用本身的设计是否可能造成伤害”。可以说，数字应用的设计安全和设计公平正成为全球数字治理的新焦点，尤其是在涉及未成年人保护时。然而，我国产品质量法和消费者权益保护法主要指向有形产品，推荐算法、ai聊天机器人等数字应用尚未被明确纳入产品安全与产品责任体系。考虑到ai陪伴应用等对用户尤其是未成年人心理健康的潜在影响，明确相关设计安全标准是必要的。这并非对ai陪伴应用等数字产品施加不合理负担，而是要求科技企业在设计阶段即对未成年人用户履行合理的安全保护义务，因为这是产品安全的应有之义。

其二，人工智能科技伦理审查应关注ai应用对未成年人的安全和健康影响。工业和信息化部、国家发展改革委等十部门近期联合发布的《人工智能科技伦理审查与服务办法（试行）》为伦理审查提供了制度基础。未来在落实人工智能科技伦理审查时，ai应用对未成年人安全和健康的影响应成为科技伦理审查的重要维度。值得注意的是，不同类型的ai应用对未成年人的影响机制和风险等级存在显著差异：传统社交媒体主要通过算法推荐影响用户行为，而ai陪伴应用则通过模拟人类情感建立“准社会关系”，后者的情感操纵风险更为隐蔽、直接。因此，伦理审查不宜采取一刀切的方式，而应根据产品类型、交互深度、用户年龄等维度进行分层分类管理。

其三，以“适龄设计”理念平衡保护与发展。各国实践的深层启示在于：保护的目标不是将儿童和未成年人与数字世界隔绝，而是要求产品设计充分考虑未成年人的认知特点，落实“适龄设计”理念。“适龄设计”并非一味限制，而是鼓励差异化、精细化的安排——允许技术创新在合理边界内发展，同时确保创新不以牺牲儿童和未成年人身心健康和安全为代价。这一理念同样适用于ai社交陪伴应用：ai可以成为儿童和青少年学习成长的有益工具，但其设计不应模糊人机关系边界，不应利用未成年人的情感依赖倾向，更不应在缺乏有效安全机制的情况下向未成年人提供开放式情感陪伴服务。在实操层面，应鼓励行业参与制定未成年人友好型ai产品设计标准，将“适龄设计”转化为可操作的技术规范和标准。

总之，从事后追责转向事前安全设计，从内容责任转向产品设计责任——这不仅是数字平台治理的范式转变，也要求在制度建设中兼顾安全底线与创新空间，推动社交媒体、ai陪伴应用等数字产品设计理念从“最大化用户黏性”转向“最有利于用户福祉”，真正将以人为本、智能为人等技术原则落到实处。

（作者系深圳大学法学院副教授）

责编：肖莎