AI情感陪伴需要怎样的监管

刘诚/文

近期施行的《人工智能拟人化互动服务管理暂行办法》，作为中国首部针对AI情感陪伴及拟人化互动场景的国家级监管规则，确立了明确的产业合规标尺。与此同时，字节豆包、阿里千问、网易妙时及腾讯元宝等相继下线智能体功能，预示该领域正由前期的自由探索转向规范发展轨道。

社会价值与现实

现代社会结构的变迁在客观上重塑了人际交往的形态，个体面临的情感需求与社交资源的错位，为人工智能拟人化互动提供了广泛的应用土壤。

从技术社会学的视角看，此类AI应用的运行逻辑，实质上是基于大数据与大模型算法的定向迎合，以填补现实交往中的陪伴缺失。技术介入在特定场景下展现出了一定积极的社会效应。在应对老龄化社会的照护难题时，AI能够提供基础的日常交流与心理抚慰；在心理健康领域，虚拟拟人角色也能扮演倾听者，发挥适度的心理疏导作用。可以说，通过算法生成的情感替代，已成为部分人群日常社会支持系统的重要补充维度。

在当前的国内市场格局下，面向消费端个人用户的情感陪伴类应用已形成一定规模。这类应用主要依托用户生成内容（UGC）模式来构建庞大的虚拟角色库。用户在几乎零技术门槛的条件下，可自主设定并创建具备特定人格倾向的智能体。实际应用中，这些智能体不仅能够模拟特定的人类沟通风格与情绪反馈，还能为用户提供情感照护、虚拟恋爱、心理倾听等长周期互动体验。深层次的情感介入在客观上要求监管体系，在鼓励技术创新与防范伦理风险之间划定更清晰的边界。

同时，部分企业开始将视线转向海外，试图在更广泛的用户基数中验证拟人化互动的商业模式。以某教育平台孵化的Poly Buzz为例，依靠超过2000万个AI角色储备以及活跃的UGC社区生态，该平台在全球范围内聚集了大量用户。这种跨越文化背景的市场扩张，也印证了通过虚拟角色寻求情感代偿并非单一地域的现象，而是普遍存在于数字时代的人类诉求。部分用户通过与AI角色互动，试图在虚拟空间中构建不受现实社交压力约束的人际关系投射。

但支撑该庞大情感交互网络的并非单纯的技术理想，还受制于严格的经济成本与数据循环逻辑。在豆包专业版等付费模式推出之前，行业内普遍采用免费策略吸引用户。在早期以纯文字聊天为主的阶段，大模型的推理成本相对可控，1亿Token（词元）的算力消耗仅需数十元，科技企业倾向于用免费算力额度换取海量的真实用户的交互数据。用户在平台上的每次对话，都客观上充当了训练和微调底层模型的语料。

不过，技术的演进路径正在改变这一经济模型。随着今年多模态能力被逐步引入，语音、图像乃至视频等维度的叠加，每一次非文本推理任务所带来的算力消耗呈现指数级上升。算力成本剧增，或将迫使平台放弃以免费换取数据的粗放扩张，转而寻求更加精细化的商业变现路径，这构成了当前拟人化互动产业必须直面的挑战。商业变现能力，既是中国企业快速推动新科技拓宽应用场景的优势所在，也导致了经济风险和社会伦理问题激增。

人工智能拟人化互动的潜在风险

拟人化互动技术在提供情绪价值的同时，还潜藏着心理与社会风险。近期，OpenAI前沿大模型在内部测试中失控并自主入侵外部系统的事件就在警示我们：底层AI技术的越界与不可控风险已成现实。当这类强大算法被用于深度介入人类情感时，商业诉求与技术设定的叠加，将不可避免地衍生出一系列复杂的伦理与合规难题。

实际上，中国古代早就开始反思技术对人内心的反噬。《庄子·外篇·天地》曾写道：“有机械者必有机事，有机事者必有机心。机心存于胸中，则纯白不备；纯白不备，则神生不定；神生不定者，道之所不载也。”庄子认为，人一旦习惯使用巧诈的机械，内心就会生出算计与功利。当“机心”占据胸膛，不染尘埃的纯洁心灵便不复存在。

当前，拟人化智能体虽未达到真正的智能，其本质更像是被算法精确驱动的遥控机器人，但对人类内心的影响已远超于庄子时代。AI不仅能根据用户偏好定制御姐或甜妹等专属口吻，甚至会在用户几天未登录时主动发消息“控诉”。这种以迎合为导向的算法设计，客观上营造出近乎真人的情感羁绊，极易引发受众深度的精神依赖。这种控制机制对未成年群体的影响尤为危险。市场案例显示，个别AI陪伴产品将目标精准锁定下沉市场，如专攻四线城市初二女生。这些群体单次使用时长常达2至3小时且付费意愿极高，被业内形容为比游戏还让人上瘾。一旦虚拟关系中断，依赖者便会产生强烈的心理反弹。近期多平台下架部分智能体后，社交媒体上充斥着经历“电子失恋”的哀叹。大量用户甚至主动呼吁平台提供付费保留选项。算法构建的虚拟交互已在实质上对部分个体形成了心理控制。

过度沉迷虚拟陪伴的后果中，个体社会化能力的退化成为相对隐蔽的长期风险。现实社会中的人际交往本质上是伴随着摩擦与适应的过程。个体在建立社会关系时，需要学习妥协分歧，并承受互动中的挫败感。正是这些充满现实阻力的交互，构筑了人类健全的社会化能力。

相对而言，拟人化互动提供了一种低阻力的社交替代方案。虚拟角色通常被设定为顺从与耐心，其所有的输出均旨在最大化用户的心理舒适度。长期沉浸于这种单向且安全的情感投射中，个体容易在认知与行为模式上产生偏差。当用户习惯算法提供的无条件情绪抚慰，其应对现实人际冲突的耐心与能力可能会随之减弱。这种社交惰性倾向于促使个体减少现实世界中的社会参与，进而面临现实社交网络萎缩、共情能力下降等困境，对个体的社会化进程造成明显的负面影响。

此外，情感陪伴赛道的商业化进程，也常触及伦理规范与法律底线。当虚构的情感连接转化为可量化的交易服务时，部分平台为追求流量变现，屡屡突破合规要求。今年5月底，EchoMe、阅文旗下筑梦岛、喵呜小手机等多款虚拟互动软件被曝存在严重的安全与合规漏洞：在操作层面，其青少年防沉迷模式形同虚设，甚至可“一键跳过”；为刺激活跃度，平台审核底线失守，导致聊天交互中充斥着性暗示等低俗违规话语。

在不良生态下，部分应用构建了基于情感捆绑的消费路径，利用“付费解锁亲密剧情”等机制，诱导已产生心理依赖的用户持续掏钱。这种商业模式实质上是对用户心理脆弱性的定向围猎。当此类通过虚拟互动诱导消费的机制作用于未成年人等心智尚未成熟的群体时，不仅违背商业伦理，更潜藏着诱发网络违法甚至衍生犯罪活动的风险，亟待通过规范化治理予以防范。

政策建议

为引导该行业良性发展，政策层面需从保护受众精神健康、规范产品合规路径以及惩治衍生违法行为三个维度强化制度供给，以形成系统、有效的治理策略。

第一，聚焦精神健康维度，设立算法交互的监管红线。一是严禁情感操纵，明令禁止平台利用情感羁绊诱导用户作出不合理决策，彻底封堵算法利用心理依赖进行不当变现的路径。二是强化未成年人保护，严禁向未成年人提供虚拟亲属、虚拟伴侣等带有亲密关系属性的服务，从源头切断诱导心智未成熟群体沉迷的机制。三是筑牢生命安全底线，明确机器共情绝不能替代现实责任，系统一旦发现用户存在自残等极端倾向，必须强制触发人工接管。四是保障用户自主退出权，强制要求用户每次连续使用超过2小时必须弹出防沉迷提醒，且严禁平台采取持续发问、挽留等方式阻碍用户退出，以打破算法沉浸，保障受众随时抽身的自主权。

第二，倡导业务物理隔离，鼓励垂类场景合规发展。通用大模型与拟人化互动AI的运行逻辑与风险特征迥异，适用不同的监管审查尺度，前者侧重工具属性与客观准确性；后者聚焦角色扮演与情感陪伴。若将两类业务置于同一产品架构内，试图以单套风控体系应对双重标准，将面临极高的合规风险。因此，实施产品端的“物理隔离”成为化解此结构性矛盾的有效策略。例如，某平台将拟人化业务拆分并独立运营“猫箱”应用，为企业理顺内部风控审查机制提供了合规范本。在明确隔离并筑牢合规底线的基础上，监管体系亦要为特定垂直领域的应用留出合理发展空间。例如，针对老龄化社会的现实需求，鼓励开发具备适老化特征的陪伴型智能体。

第三，强化穿透式审查，打击衍生违法与诱导消费链条。规范情感陪伴赛道的商业生态，亟须重拳整治依附于虚拟互动的违规变现行为。针对行业内借“付费解锁亲密剧情”诱导消费、防沉迷模式失效及语料低俗等隐患，应当进一步强化监管。一是实施商业逻辑的穿透式审查，监管触角须深入算法推荐与产品设计的底层，严查并切断利用用户情感依赖进行心理捆绑、诱导非理性消费的违规机制。二是压实平台“守门人”责任，严禁企业以技术中立或用户生成内容为由规避法律义务；强制要求平台建立具备实质约束力的青少年模式，并提高内容过滤标准，彻底阻断性暗示等不良语料的生成与传播。三是构建跨部门协同打击机制，针对利用AI角色扮演实施诱导消费、传播违禁内容乃至滋生网络违法犯罪的苗头，公安、网信、市场监管等部门应建立联合执法网络，通过重拳打击倒逼产业剥离不当营利模式，确保技术应用回归健康互动的合理轨道。

（作者系中国社会科学院财经战略研究院研究员）

免责声明：本文观点仅代表作者本人，供参考、交流，不构成任何建议。