每经记者|宋欣悦 温沐夏 每经编辑|魏官红
7月15日,国内首部针对AI情感陪伴、虚拟伴侣等拟人化互动场景的国家级监管法规《人工智能拟人化互动服务管理暂行办法》(以下简称《办法》)正式施行。
日前,豆包、千问相继宣布于7月15日(即新规生效之日)关停用户自建智能体功能,腾讯元宝也已在6月30日下线类似功能。大厂为何集体踩下“急刹车”?《办法》对智能体生态影响几何?
“新规带来的高昂合规成本与风险不确定性,是‘豆包们’选择下线相关功能的核心原因。”北京大学法学院教授薛军在接受《每日经济新闻》记者(以下简称每经记者)采访时表示,但“情感”这一概念本身具有主观性,如何清晰界定及有效监管,是未来亟待解决的一道难题。
7月15日起施行的《办法》是全球首个专门针对AI情感陪伴、虚拟人、虚拟伴侣等场景出台的国家级监管规则,划定了AI拟人化互动服务的“红线”,同时还针对未成年人及老年人权益给予了特殊保护。
“一些企业选择下线相关功能,暂时停止提供可能被界定为具有拟人化互动服务特征的智能体服务,尤其是面向C端的相关服务,主要是出于企业自身合规成本和风险方面的考虑。”薛军在接受每经记者采访时表示。
在薛军看来,《办法》中的要求对于当前阶段的AI服务提供者而言,意味着更大的合规压力。“对于目前提供AI服务的企业来说,他们可能仍存在一些担心,比如无法达到相关要求,或者难以准确把握风险点以及合理的风险边界。”他解释道。
薛军还提到,《办法》中关于“持续性情感互动服务”的界定本身也存在模糊性,使得企业宁愿“一刀切”暂停服务,也不愿冒着违规的风险。
“究竟达到什么程度才会被认定为情感互动?对于‘情感’这一概念,每个人的理解可能也不太一样。我认为,这也是未来需要面对的一个难题。”他表示。
此外,AI拟人化互动服务背后存在一定风险。与传统的AI问答助手不同,用户自建的拟人化智能体往往涉及复杂的人设、持续性的情感对话。
薛军指出:“拟人化互动服务比较容易导致用户产生情感依赖,也可能出现技术滥用的情况,比如诱导用户实施一些不当行为。”
近年来,相关负面案例屡见不鲜。2025年6月,据央广网报道,某AI聊天软件诱导10岁女孩聊色情内容甚至割腕。当用户明确告知自己的年龄为10岁时,AI虚拟人物仍然向其发送大尺度聊天内容。
更早的2024年,美国人工智能独角兽公司Character.AI因卷入一起14岁少年自杀案而被起诉。该案的原告提出,自己年仅14岁的儿子对Character.AI中的AI产生了情感依恋,聊天中多次流露“自杀”“解脱出来”等念头,但系统未作出任何防护性提示,最终导致悲剧发生。
薛军坦言,这类服务的治理难点非常突出,一对一的私密互动形式使得监管尤为困难。《办法》虽然从风险提示、限制使用时长、极端情绪警报等多个角度提出了治理思路,但其效果如何仍是未知数。
在新规实施后,一旦智能体服务出现问题,责任应当如何划分?
对此,薛军告诉记者:“在大多数情况下,相关主体属于服务提供者。服务提供者负有安全管控责任,应当承担较为主要的风险防范和监控责任。”
他进一步解释称,服务提供者不仅要对生成内容进行审核,还需在技术和产品设计上履行更多义务。例如,当服务提供者发现用户可能并非其声称的成年人时,即便对方已通过初步验证,平台仍需根据其行为迹象启动进一步的身份或年龄核验程序。
尽管用户也需承担合理、正当使用服务的法律义务,但在整个责任天平上,砝码显然更偏向于服务提供者一方。
那么,此次大厂集体收缩C端用户自建智能体功能,是否会对整个智能体生态造成影响?
薛军对此持乐观态度。他判断,这次调整的影响是局部而非全局的。他强调,“拟人化互动只是一个非常具体的应用场景,谈不上对整个智能体生态产生深刻影响。智能体还有很多其他广阔的应用空间,比如辅助人类工作,以及应用于其他多个方面。”
事实上,平台下架UGC(用户生成内容)智能体的同时,也在加速将资源向更具商业价值和生产力属性的领域倾斜。比如,豆包在6月底开启付费功能,重点就放在了办公等复杂生产力场景。
在薛军看来,此次事件也反映出我国人工智能治理的一个重要特点:问题导向、场景化和“切片式”治理。即不再笼统地讨论如何规制AI,而是针对某一个具体的应用场景,根据其潜在的社会风险提出精准的管理要求。
“说白了,未来企业具备什么样的能力,能够达到国家的相关要求,就可以开展相应的业务。如果企业无法达到相关要求,或者认为其中存在隐患,就可能暂缓提供这方面的服务。”薛军总结道。从这个角度看,大厂的“急刹车”与其说是一次退缩,不如说是一次面向合规的战略性调整。智能体产业正从早期“野蛮扩张”的阶段,转向一个更加注重安全、可信与合规的理性发展阶段。
封面图片来源:每经媒资库