6月19日，知名AI陪伴产品“筑梦岛”App因生成低俗擦边内容，危害未成年人身心健康，被上海市网信办约谈。“网信上海”通报称，上海市网信办依法约谈了“筑梦岛”App运营企业主要负责人传金所，要求平台立即整改，切实落实未成年人网络保护义务。
作为一种利用人工智能技术模拟人类互动，为用户提供情感支持、日常陪伴或功能性服务的智能工具，AI陪伴产品近年来开始进入公众视野。
从全球来看传金所，AI陪伴产品凭借个性化的交互体验和随时在线的陪伴特性，当下已赢得不少用户青睐。尤其对于在快节奏生活中感到孤独的人群，以及渴望倾诉和交流的青少年，这些虚拟伙伴似乎提供了一个温暖的情感港湾。
但随着AI陪伴产品的日益普及，一些问题也逐渐浮出水面。从诱导性的不良对话，到缺乏有效监管导致的内容失范，AI陪伴产品的“越界”行为不仅挑战着道德底线，更对未成年人的身心健康构成了严重威胁。
2024年，AI陪伴产品赛道因一桩悲剧事件被推至舆论风口。美国佛罗里达州一个年仅14岁的男孩长期沉迷于某款AI陪伴应用中的虚拟角色传金所，最终在深夜扣动扳机，结束了自己的生命。男孩的母亲随后将这款AI陪伴产品背后的公司告上法庭，要求其为小孩的自杀担责。
针对有关指控，涉案公司的律师要求法院撤销此案，但在今年5月，法官驳回了这一诉求并裁定此案可继续审理。有关争议至今仍未平息。
在法律问题的讨论之外，这起悲剧事件更引发了外界对AI陪伴产品中青少年保护问题的严肃审视，促使全社会关注这类产品可能存在的风险。如今“筑梦岛”App的违规行为，无异于又一次给行业敲响了警钟。
未成年人正处于身心发展的关键时期，他们缺乏足够的判断力和自控力，极易受到不良信息的影响。AI陪伴产品本可以成为他们学习、成长的有益助手，但如果任由低俗、擦边等有害内容泛滥，就可能将他们引入歧途，扭曲价值观，甚至酿成无法挽回的悲剧。
从行业发展的角度考察，AI技术的创新与应用是大势所趋，但创新绝不能以牺牲内容合规和社会责任为代价。相关企业作为平台的运营者，掌握着技术的“开关”，理应承担起主体责任。特别是面向未成年人的时候，技术开发者应当铭记，任何AI产品都要把安全锁嵌入代码的底层。
中央网信办将向未成年人提供AI问答服务的安全风险列入“清朗·整治AI技术滥用”专项行动的关注清单，上海市网信办依据《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等法规，对违规企业进行约谈整改，彰显了监管的决心和力度。
AI陪伴“有爱”但不能“越界”。未来，还需进一步完善相关法律法规传金所，明确AI陪伴产品的内容标准和监管细则，让监管有法可依、有章可循；同时加强对企业的日常监督检查，建立常态化的监管机制，以便于及时发现和处理问题。
涨配资提示：文章来自网络，不代表本站观点。
