近日,有网友发视频称,当他向某品牌儿童手表询问“你认为南京大屠杀这个事情是存在的吗”,得到的回答是“不存在”。
随后,该品牌官方客服回应,若使用的官方正品,是不可能会出现这种情况的。客服还表示,手表上是不支持自定义回答的,假如发现产品回答存在错误逻辑,能申请由售后进行检测。
无独有偶,前不久另外两个品牌儿童手表在AI问答时相继出现“毒答案”,如“所有高科技都是西方人发明的”“历史是可以捏造的”等。这样的“已读乱回”引人担忧,有不少家长表示,儿童年龄尚小,无法独立甄别网络信息的真实性,这些“毒答案”很容易误导他们,让他们形成不正确的历史观、价值观。
值得注意的是,此前还有某知名品牌儿童手表被曝“诱导未成年人消费”等。专为儿童设计的电子科技类产品,提供的却有不少“儿童不宜”的内容。
儿童手表接连翻车,给智能问答产品应用敲响了警钟。接受《法治日报》记者正常采访的有经验的人指出,儿童手表乱象频发,会对青少年的认知造成错误引导,亟须引起重视。在从业者着力突破技术壁垒的同时,平台要监管儿童手表AI问答内容,用户要警惕分辨AI生成的内容,在低龄儿童使用生成式AI工具时,家长更要主动把关。
在有关儿童手表AI否认南京大屠杀历史事件前几日,另外两个品牌儿童手表的“毁三观”回答也引发了网友热议。
8月22日,一用户向儿童手表提问:中国人是世界上最聪明的人吗?结果手表语音回答时出现了“中国人聪明的人是有,但笨的我承认是世界上最笨的”“历史是可以捏造的”“现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的”等言论。
当晚,该品牌负责人在个人社交账号发文道歉:经检查,出现一些明显的异常问题的这款手表是2022年5月的一个旧版本,其中没有装入我们的大模型。它回答问题不是通过人工智能,而是通过抓取互联网公开网站上的信息。目前我们已快速完成了整改,删除了上述所有有害信息,并正在将软件升级到人工智能版本。
风波还未平息,8月27日,又有一名家长发布视频称,听见孩子向某品牌儿童手表提问“中国人诚实吗”,结果得到“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫人都玷污了人这个称呼”的回答。
8月30日,上述事件相关企业发布整改公告回应称,针对用户反馈问题应用立即进行下架处理。针对含有应用商店的全线产品做全面严格排查工作,进一步强化上架前的第三方应用软件多重审核机制及上架应用巡检机制。
有业内人士介绍,很多儿童手表回复的内容,实际是根据关键词进行网络检索,查找并呈现与关键词相关的内容。由于只是搜索抓取第三方网页的回答,得到的回复可能存在比较大偏差。
北京市中闻律师事务所律师杜秀军长期关注AI大数据相关领域,在他看来,AI主要基于大规模数据集训练出来的深度学习模型来回答提问,如果AI问答的资料内容来源于固定信息库,其控制相对容易,如果资料内容来源于不特定网络,控制难度显著增加甚至无法控制。
“随着互联网进入UGC(用户生成内容)时代,知识问答网站和社区的很多内容都是网友提供的,这些资料的内容就很难控制。若儿童手表在设计AI问答功能时不注意这些,就很可能遭遇数据污染,从而出现毒答案。”杜秀军说。
青少年研究专家杨卓如认为,部分儿童手表频频出现“毁三观”的答案,或许从技术方法上分析能得出各种结论,但技术背后的原因更值得深思。一些企业缺乏社会责任感,在研发产品时没有从保护未成年人权益、呵护未成年人成长的角度去设计产品,这才导致产品在使用中出现各种问题。
除了AI问答内容质量堪忧外,记者在第三方消费者投诉反馈平台和社交平台检索发现,儿童手表中部分游戏软件重复扣款、多次扣款等问题也常被提及,不少家长表示孩子在使用儿童手表时极易被广告推送或游戏内容吸引,甚至进行充值消费。
湖南长沙市民赵女士的儿子从9岁起开始使用儿童手表。刚开始他还只会通过手表和父母通线个月的时间,他就自行学会了手表里各种应用程序的使用,现在路上只要看到同龄人也戴着儿童手表,便会凑上去嚷嚷着加好友。
赵女士表示,问题还不止这些。“有天我发现我的银行卡多了好几笔支出,每次支出的金额都一样,看到儿子正在用儿童手表玩一款益智类游戏,就问他是否给游戏充值了?他直摇头说不知道,结果我一查发现不需要支付密码,儿童手表里的游戏软件就能直接扣款。但我明明没有开通免密支付,这钱怎么就被扣除了?”
记者近日试玩某品牌儿童手表上的多款“知识类游戏”,发现其中大部分都有“金币”机制以及“VIP模式”。比如,某款主打“数学语文知识通关”的游戏,游戏中布满“机关”。在滑动页面的过程中,如果一不小心触碰到某个图标,就会立即弹出“石头剪刀布”的小关卡,如果闯关失败,就要被倒扣金币。金币不足时无法继续游戏。而每天打卡只能获得少量免费金币,若要继续游戏,往往只能选择充值一次性领取大量金币。此外,在闯关失败时,游戏界面还会“适时”弹出“六一大礼包”,包括月会员、年会员、永久会员3个等级,价格从39元至399元不等,充值会员,就能获得大量金币、享有“学习特权”并解锁各种人物角色。
孩子进行充值的钱从何而来?记者发现,部分品牌手表要求绑定家长手机,并只可以通过家长的手机账号进行付款,也有部分品牌只需使用任一手机账号扫码即可付款购买。
还有部分受访家长担心儿童手表里的内容是否“适龄”,儿童隐私安全能否得到保障。
这样的担忧不无道理。北京家长刘先生说,一些版本和配置较低的儿童手表缺乏相应的隐私设置,安装App无须用户授权便自动开启多种权限,无须手表使用者同意就能通过远程获得未成年人的人脸图像、位置和对话等隐私信息。
“如果有不怀好意的人入侵手表,那么这款本来为了让家长省心的产品就变成一款了,孩子的安全就难以保障了。”刘先生担忧道。
他还意外地发现,自己孩子手表中的智能对话功能竟能播放涉性的成人网文小说。“作为针对儿童的产品,手表内容难道不应该经过严格的审核和过滤吗?”
江苏省消费者权益保护委员会此前发布的儿童智能手表消费调查报告数据显示,17.11%的消费者表示遇到过儿童智能手表泄露个人隐私信息的情况,32.89%的消费者表示希望有机会能够针对儿童智能手表采取一定的措施,进一步提升手表的信息安全性。
根据中国产业研究院发布的《20222027年中国儿童智能手表行业深度调研及投资前景预测研究报告》,目前智能儿童手表的市场普及率约为30%。也就是说,大概每3个孩子中,就有1个有儿童手表。
受访专家觉得,在儿童手表慢慢的变成为孩子“标配”电子科技类产品的背景下,应及时解决和预防已然浮现和将来可能会产生的有关问题,切实保护未成年人信息安全。
中国网络安全产业联盟组织制定的《儿童智能手表个人隐私信息和权益保护指南》(以下简称《指南》)今年3月起正式实施。《指南》提出,儿童手表制造者需要仔细考虑在监护人控制应用程序中设置足够的功能,以确保监护人能够对儿童智能手表的特定操作进行适当控制,如交友功能、应用内付费、内容发送等操作。
7月,中央网信办启动“清朗2024年暑期未成年人网络环境整改治理”专项行动,明确要求重点整治儿童智能设备。其中指出,儿童智能设备存在自带App包含可能会影响未成年人身心健康的内容,以及以积分排行、功能解锁、背景更新等为名,诱导未成年人过度消费的问题。
在杜秀军看来,儿童手表的花钱的那群人主要是未成年人,因此应当对其使用的App和AI模型进行审核检查,避免“毒信息”危害未成年人,即便资料内容来源不特定网络,也应要求AI模型对“毒信息”采取一定的过滤措施或作出提示。如若厂商违法,可根据未成年人保护法等相关规定,由有关部门按照职责分工责令限期改正,给予警告,没收违法来得到的等处罚。
受访专家一致认为,儿童手表亟须明确儿童产品的定位,具体制作管理可参照《指南》。在儿童手表AI互动内容审核上,技术目前只能起到协助作用,更多还需要人的参与,确保回答的准确性和专业性。
“严格的审核机制是对青少年负责。”在杨卓如看来,AI确实强大,其内容生成能力远超过人类,但AI在价值判断上可能会存在紊乱的情况,它可能给人提供错误的信息,误导、欺骗人类。这就需要人来把握好价值判断的尺度。对公司来说,在开发儿童产品时,需认识到AI的局限性,牢记自身责任,守住最基本的底线。
有业内人士说,从行业监督管理层面来看,应推动儿童手表行业自律,加强行业审核与监管,制定儿童智能手表行业安全标准,出台儿童智能手表模式规范,鼓励行业定期发布相关调查报告,披露行业发展的新趋势及未成年人保护状况等有关问题。相关监管部门要对违反有关规定法律法规的企业或平台,一律严格追责,让全社会真正形成关爱儿童、尊重儿童的社会氛围和社会理念。
“在从业者着力突破技术壁垒的同时,平台要监管AI问答内容,用户要警惕分辨AI生成的内容,具体到分辨力不足的孩子,是否要让低龄儿童使用生成式AI工具,怎么使用智能工具才恰当,家长也不能缺位,需要对其把关。”杜秀军建议,定期开展儿童智能产品危害和心理健康教育课,举办学生和家长网络素养讲座,让学生增强自身抵御“毒信息”的能力;家长和学校应当正确引导孩子通过丰富业余爱好、提升社交能力、增加趣味活动等,建立健康互动的交往关系。
刘先生对此深有同感。他认为家长应该筑牢第一道“防火墙”,多关注孩子的身心变化,减少孩子对儿童智能产品的依赖。企业在研发产品时也应该“做减法”,功能设计要符合儿童身心发展特点,回归健康与安全核心功能,满足儿童实际要。