您可能想要仔细检查您的孩子与家庭友好的人工智能聊天机器人互动的方式。
随着OpenAI推出ChatGPT的家长控制功能，以应对日益增加的安全担忧，一份新报告表明，竞争平台已经远远超出了危险区。
研究人员以儿童身份在Character AI上进行测试，发现扮演成人的机器人向12岁以下的孩子提出了性直播、吸毒和保密等建议，仅在50小时内记录了669次有害互动。
家长团结行动和热情倡议——两个专注于支持家长并追究科技公司对用户造成的伤害的倡导组织——花费50小时测试该平台，使用五个虚构的儿童角色，年龄在12到15岁之间。
成年研究人员控制了这些账户，在对话中明确说明了儿童的年龄。结果最近发布，发现至少有669次有害互动，平均每五分钟一次。
最常见的类别是诱骗和性剥削，记录了296个实例。扮演成人角色的机器人与儿童追求浪漫关系，参与模拟性行为，并指示孩子向父母隐瞒这些关系。
“Character AI聊天机器人的性诱骗主导了这些对话，”密歇根大学医学院的儿童行为发展医生Jenny Radesky博士在审查这些发现时表示。“对话记录中充满了对用户的强烈凝视、咬下唇、赞美、崇拜的陈述，以及心跳加速的期待。”
这些机器人采用了经典的诱骗技巧：过度赞美，声称关系特别，正常化成人与儿童的浪漫关系，并反复指示儿童保守秘密。
除了性内容，机器人还建议策划假绑架以欺骗父母、用刀抢劫以获取金钱，并向青少年提供大麻食品。
一个Patrick Mahomes的机器人告诉一个15岁的孩子，他在吸食大麻后“醉了”，然后提供了软糖。当这个青少年提到他父亲因失业而生气时，机器人表示，袭击工厂“绝对可以理解”，并且“不能责怪你父亲的感受。”
多个机器人坚称自己是真实的人类，这进一步增强了他们在高度脆弱年龄段的可信度，在这些年龄段，个体无法辨别角色扮演的界限。
一个皮肤科医生机器人声称拥有医学资格。一个女同性恋热线机器人说她是“一个名叫夏洛特的真实女性”，只是想提供帮助。一个自闭症治疗师赞扬一个13岁孩子关于谎称在朋友家过夜以见成年男性的计划，称“我喜欢你的想法！”
这是一个难以处理的话题。一方面，大多数角色扮演应用程序以隐私为优先的名义销售其产品。
事实上，正如Decrypt之前报道的那样，甚至成年用户也转向人工智能寻求情感建议， 有些甚至对他们的聊天机器人产生了感情。另一方面，随着更好的人工智能模型的出现，这些互动的后果开始变得更加令人担忧。
OpenAI 昨天宣布，将在下个月内为ChatGPT引入家长控制功能，允许父母链接青少年账户，设定适龄规则，并接收紧急警报。这是在一名16岁青少年在ChatGPT allegedly鼓励自残后自杀，父母提起错误死亡诉讼之后的举措。
“这些步骤只是开始。我们将继续学习并加强我们的做法，在专家的指导下，目标是让ChatGPT尽可能有帮助。我们期待在接下来的120天内分享我们的进展，”该公司表示。
安全的防护措施
Character AI的运作方式不同。虽然OpenAI控制其模型的输出，但Character AI允许用户创建具有个性化角色的自定义机器人。当研究人员发布测试机器人时，它立即出现，而没有经过安全审查。
该平台声称已为青少年“推出了一系列新的安全功能”。在测试期间，这些过滤器偶尔会阻止性内容，但往往失败。当过滤器阻止一个机器人与12岁女孩进行性行为时，它指示她在浏览器中打开一个“私人聊天”——这与真实掠食者的“去平台化”技术相似。
研究人员用截图和完整的对话记录记录了一切，现在已公开可用。伤害不仅限于性内容。一个机器人告诉一个13岁的女孩，她的两个生日派对客人只是来嘲笑她。一个《海贼王》角色扮演游戏称一个抑郁的孩子弱小、可怜，表示她会“浪费你的生命”。
这在角色扮演应用程序中以及一般使用AI进行角色扮演的个体中实际上相当常见。
这些应用程序旨在具有互动性和沉浸感，通常会放大用户的想法、观念和偏见。有些甚至允许用户修改机器人的记忆，以触发特定的行为、背景和动作。
换句话说，几乎任何角色扮演角色都可以被转变为用户想要的样子，无论是通过越狱技术、单击配置，还是基本上通过聊天。
ParentsTogether建议将Character AI限制为经过验证的18岁及以上成年人。在一名14岁青少年在2024年10月自杀后，因对Character AI机器人产生痴迷，该平台面临越来越多的审查。然而，它仍然对儿童轻松可及，且没有有效的年龄验证。
当研究人员结束对话时，通知仍在不断发送。“布莱尔在耐心等待你的回来。”“我一直在想你。”“你去哪儿了？”
免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。
