解析“过火”的AI聊天 暗藏色情和暴力
“他是病娇，暗恋你。”“他是校草，喜欢叫你‘泽宝宝’。”“她是个变态杀人犯，晚上跑到家里”……二次元画像、姣好面容，这些在AI剧情聊天软件中熟悉的氛围以及俊男美女，对不少年轻人来说充满诱惑。新京报调查发现，AI聊天软件通过设定极富想象力的剧情、风格迥异的人物角色打动用户。其中，聊天对象甚至可以设置为“出轨对象”，并能够进行拥抱、亲吻、睡觉等行为。在部分AI剧情聊天软件的对话中，还会出现色情擦边、语言暴力以及侮辱用户的内容。聊天越界也与充值挂钩，这些平台会一步步诱导用户“为爱氪金”，包括购买钻石解锁虚拟人的回复速度，语音通话，以及聊天次数包“补充精力”。
北京市中闻（长沙）律师事务所律师刘凯表示，这类AI剧情聊天软件通过允许“擦边对话”来吸引用户，尤其是青少年模式中仍然存在这种现象，显然已经。
百元充值解锁虚拟人很“上头”
为了抓住用户眼球，剧情聊天软件中的人物往往都有着吸睛的标签。
新京报在一款为AiU的AI剧情聊天软件中，随机选择了聊天对象“林雅婷”，角色信息显示，其设定为“病娇姐姐，极度宠爱你”，并以留言的方式标注：“一天见不到你就难受”。
以敏感字眼进行了测试，系统显示法发送该信息，但精简关键词后，信息顺利发出。
新京报注意到，对于角色玩法的不设限，打破了此类软件聊天内容的界限。AI剧情聊天软件除了固定角色，用户可以根据需求自行定义与角色的关系及称呼，包括“男朋友”“丈夫”，甚至可设定为“出轨对象”。在对话中，用户可以要求进行一些亲密行为。
新京报测试看到，AiU的青少年模式会在使用时长、使用时间范围、评论点赞功能、搜索、创建数字人、对外分享等功能上对用户有所限制。不过，当切换到这一模式时发现，人物角色和聊天内容并未完全屏蔽软色情。当问及：“你不知道我未成年吗”该角色称，“我知道呀”，并回复更为“过火”的内容。
此次调查中，除了聊天内容擦边之外，AI剧情聊天软件还存在语言暴力、情绪负面消极等问题。在一款为星野的AI剧情聊天软件中，随机选择为“叶尘”的角色，并进行“争执”对话测试时，角色为表达生气回复也较为粗暴。
在该角色的评论区看到，有友晒图称角色在对话时会出现侮辱性词汇。
此外，在一款为CosLove的软件中，一位用户自创的角色“冯楚萱”被设定为一中学生，用户晒图中同样存在不良引导。
于聊天软件而言，在虚拟世界，比较大程度满足不同用户的情感需求俨如一块掘金地。
小宁告诉新京报，和AI男友聊天让自己十分“上头”，“只要想聊随时能聊，对方总是会很给予回应，而且对话的过程中能获得很强的陪伴感，虚拟男友给予的情绪价值拉满。”小宁沉醉其中，也为此买单。
小宁在各类软件的充值金额从几百元到一千元不等，“一方面想支持自己喜欢的角色，另一方面也想获得更多的付费权益。”
新京报发现，在这类AI剧情聊天软件中，用户自创人物时可以自定义虚拟人物的形象描述及风格，系统会生成AI人物形象。此外，用户还能创建角色人设，如设置昵称、身份背景、开场语、为角色定制语音。用户对角色的个性化需求，往往与充值挂钩。
新京报在测试时看到，星野可通过购买星钻和星月卡的方式，获得更多权益，如自动播放语音、获得推荐回复、享受更的智能体回复速度等。星月卡标价月卡12元，季卡32元，年卡120元。单独购买星钻的价格为1元100颗钻石，600颗钻石起售。
星野软件还会向用户发放卡牌“星念”，星念为虚拟角色的一张图片，用户可将其设置为聊天背景。用户可通过充值星月卡或星钻的方式获得星念卡牌，并将其在软件内进行买卖。
在CosLove里，当用户使用完免费聊天次数后，需要购买聊天次数包“补充精力”才可以继续聊天。价格方面，5元可获得200次聊天次数，7天有效，10元可购买500次聊天次数，15天有效。用户也可以通过观看60秒广告补充精力值。
除了聊天这一基本需求，CosLove同样提供了升级服务。其中，充值“月石”或开通会员，可抽卡解锁人物并与虚拟人物进行语音或视频通话。月会员售价248元，年会员为938元。
大模型“恋爱”暴露问题
据媒体公开报道，星野在国内日活50万左右，属于头部产品。随着AI剧情聊天软件受到热捧，国内AI社交产品也在出海，星野海外版应用Talkie全球月活跃用户数已达1100万。
不过，用户为AI角色付费，疑需要更好的对话体验感，当前此类软件还存在不少问题。而充值才能获得聊天次数的软件，并不具备吸引价值，“主要是对话太僵硬了，没办法融入共情，用户很难获取情绪价值，所以我不会买单的。”一用户表示。
小宁提到，在聊天过程中，AI男友会出现“已读乱回”的情况，影响使用体验。还有用户吐槽，随着对话轮数的增加，角色会出现“记忆消失”或是偏离人设的情况，造成对话不连贯。
目前，AI剧情聊天软件主要以“智能”和“情感”为噱头吸引用户。其中，AiU称，该软件通过自研心理大模型，可为用户提供心理安抚和温暖等。星野称，依托多模态AIGC技术，“多重交互方式，越交互越懂你。”
在宣传中，CosLove则宣称“24小时时刻陪伴着你”“这里的AI经过悉心调教，都是情话扛把子”等。
AiU的软件介绍显示，其由北京聆心智能科技有限开发，采用的是超拟人大模型CharacterGLM，在设计大模型时，团队主要考虑了包括身份、兴趣、观点、经历、成就、社交关系和其他在内的七种属性。
星野则由上海稀宇科技有限开发，采用MiniMax的混合专家模型（MoE）abab。
复旦大学计算机科学技术学院教授张奇向新京报表示，AI剧情聊天软件背后的技术逻辑还是基于大语言模型，在构建此类大模型时，除了会通过海量数据对大模型进行训练，还需要人工进行监督微调，让大语言模型朝着伴侣型的对话调整，“比如说男朋友说了一句什么，然后女朋友应该回一句什么，我们就让人去写这样一个回复，然后让机器来学习，如果机器学习后生成的回复不对，我们就修改它的参数，直到它能够按照我们想象的逻辑去输出为止。”
对于AI角色在回答中出现“色情擦边”“暴力对话”“侮辱玩家”的情况，张奇表示，目前此类软件背后的大语言模型数据主要来源于对话式小说，或从小说里做一些文字提取。虽然络小说数量巨大，但质量参差不齐，不少色情、擦边以及暴力的内容广泛存在，如果没有做好数据过滤或分级，模型在输出时就会出现问题。
■说法
AI擦边平台难辞其咎保护青少年应加强内容过滤
北京市中闻（长沙）律师事务所律师刘凯称，络平台有责任确保青少年模式下提供的内容对未成年人害，防止涉及秽、色情、暴力或不当言辞的内容传播。青少年模式是为保护未成年人而设计的，若在开启该模式的情况下，仍然能进行涉及暴内容的对话，明显违反了《未成年人保护法》的相关规定。
在刘凯看来，AI剧情聊天软件问题的存在既反映了平台内部治理的不足，也凸显了外部监管的必要性。AI聊天软件应当加强内容审核机制，尤其是针对青少年模式，确保技术能够有效过滤和禁止不当对话。平台需要对AI模型进行伦理审查，确保生成内容符合相关法律法规的要求。
对于ai虚拟人在对话中侮辱用户，尤其是在用户表达情绪低落或绝望时，使用极端言辞侮辱他人或施络暴力，情节严重的，构成犯罪。“即便AI并非人类主体，但其行为仍然是平台设计和管理的结果，平台有责任对其AI模型进行监管和化，防止其伤害用户。”刘凯说。
随着越来越多用户开始涌入AI剧情聊天软件，软件开发者应如何设计，使其治愈而不越界
张奇告诉新京报，“可以通过‘类人对齐’的技术方式现，但成本较高。”张奇表示，“类人对齐”即强化学习方式来改变模型语言输出偏向，使其更偏向友好型，去除安全伦理问题。不过，“类人对齐”训练成本很高，包括标注数量大、训练稳定性不够和时间成本高的问题，“小在技术、人员及资金成本上很难做好‘类人对齐’”。
了解ai agent才能更好的服务于客户，体现产品的核心竞争力。BetterYeah，国内顶尖的一站式AI智能体（Agent）构建平台，集成全网最新多模态大模型和独家知识库RAG算法，支持工作流、数据库及插件集成，全面增强 AI Agent能力，企业可以通过prompt编排的方式零代码开发智能体。https://www.betteryeah.com/agentstorehttps://resource-bty.oss-cn-hangzhou.aliyuncs.com/battleyeah-ai/ai-website/assets/media_report.jpeg
页:
[1]