AI骗人!怎么破？

羊城晚报记者 罗清峣

带货主播AI换脸成女明星，真假难辨；B站音乐区掀起AI翻唱热潮，“AI孙燕姿”全网走红；一骗子借助AI技术冒充熟人视频聊天，十分钟诈骗430万元……近日，以深度伪造（Deepfake）为核心技术的AI换脸变声相关新闻层出不穷，越来越多的人意识到AI是一把双刃剑。如何明晰真伪边界，让科技持续“向善”，成为一个亟需回答的问题。

换脸带货

【资料图】

“杨幂”“迪丽热巴”

直播间里真假难辨

“看了好几个直播间，我都惊呆了，要么是佟丽娅，要么是迪丽热巴，（主播）全都把脸换成了明星带货。”近日，从事直播行业的小美在社交媒体上的发言引发大量讨论。记者发现，商家利用AI软件把主播换脸成女明星进行带货的现象越来越普遍，不少直播间的AI换脸达到了以假乱真的地步。

记者按照多位网友的爆料，来到了某个以s开头的服装品牌的直播间，该品牌每天会在平台上进行直播带货，主播疑似AI换脸成杨幂。“五官几乎一模一样，连牙齿都一样。”爆料人表示，自己曾向该品牌客服质疑主播是AI换脸，对方回复称“长得像，化妆的”。

为了验证上述客服回复是否属实，记者邀请业内人士、英荔人工智能教育研究院成员陈海权一同到该直播间观看直播。十分钟内，除了出现了数次脸型突然变大或者变小的情况外，没有其他破绽出现。陈海权表示，这个破绽无法判断是AI换脸时出现的识别失误还是真人的瘦脸特效。他表示，以目前的技术，只要有足够预算和时间，可以把AI做得基本和真人无异，仅凭人眼难以分辨是AI换脸还是真人，“坦白讲，普通人只能靠找出特别明显的破绽进行区分”。

要不是看到了破绽，网友小包还发现不了抖音直播间里卖茶叶的不是真正的迪丽热巴。她告诉记者，近日，她在看直播时发现，一名五官几乎和迪丽热巴一模一样的主播低头整理头发时，“脑门上全是黑的”，才意识到这是用了AI换脸。

记者搜索发现，目前网络平台上有多款可以进行AI换脸的软件出售，价格从几十元到上万元不等。有男性博主表示，花99元购买软件之后，只需一台电脑和一个摄像头就能让人“换个面容”直播。记者来到该博主的直播间，看到他确实只“动动手指”，就使用软件把自己变成了一个“肤白貌美”的女性。

语音模拟

“AI孙燕姿”作品上千

孙燕姿自嘲争不过

记者了解到，AI换脸使用的是深度伪造技术——该技术能将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，从而将个人的声音、面部表情及身体动作拼接合成虚假内容。该技术除了最常见的AI换脸之外，还包括人脸合成、视频生成以及语音模拟等。其中，语音模拟层面，最贴近生活的例子就是地图软件里的明星语音包，目前许多地图还推出了语音定制服务，用户只需录入三至九句话，就能拥有定制语音包。可以说，深度伪造技术而今已无处不在。

近来，B站音乐区掀起了一波AI翻唱热潮。在AI技术加持下，孙燕姿、周杰伦、林俊杰、陈奕迅等一众歌手纷纷化身“AI点唱机”。据不完全统计，“AI孙燕姿”迄今已拥有上千首翻唱歌曲，最火的作品播放量破百万。

“讽刺的是，人类无法超越它已指日可待。”5月23日，孙燕姿在社交平台上发布《我的AI》一文，首度回应了自己对AI技术的看法。“你跟一个每几分钟就推出一张新专辑的‘人’还有什么好争的。”孙燕姿在文中自嘲，“你并不特别，你已经是可预测的，而且不幸的是，你也是可塑的。”

律师分析

未经同意换脸明星

或涉多种侵权行为

无论是AI换脸明星还是语音模拟明星翻唱，都可能造成侵权。

广州径文律师事务所律师陈文妍表示，未经明星允许或经纪公司授权，擅自使用艺人肖像进行商业活动，侵犯了其肖像权。“若导致特定主体的形象被扭曲，且视频大量传播后导致主体的社会评价显著降低，又侵害了主体的名誉权。”

事实上，不少明星已拿起法律武器应对商业AI换脸行为。2021年9月，歌手林俊杰状告上海宽娱数码科技有限公司、肖某，案由为肖像权纠纷：肖某在B站个人账号中发布了多个娱乐视频，林俊杰的肖像被AI换脸放在了视频中。最后法院判肖某公开赔礼道歉，并向原告赔偿经济损失、精神损害抚慰金等共275000元。

一些商家为了规避风险，会使用多种特效，改变AI换脸而成的某些特征，让主播和明星“似像非像”。这样的行为能否认定为侵权呢？陈文妍表示，肖像权最核心的是可识别性，“如果换脸后，普通人能够一眼看出他就是某个明星，也可以认定为侵权”。

陈文妍认为，尽管商业AI换脸行为或触碰法律红线，但因目前深度伪造属于较新的技术，现实当中司法实践和判例尚不多，“所以许多商家仍会抱着试一试的态度去做”。

诈骗翻新

AI冒充“好友”来电

十分钟骗走430万元

如果说AI换脸商业行为存在边界问题，需进一步厘清；那么，近期国内外发生的多起利用AI实施的电信诈骗案件，则更向全社会敲响了警钟。

近日，包头警方发布的一起AI诈骗典型案例冲上热搜。事情发生在上月中旬，福州市某科技公司法人代表郭先生突然接到好友的微信视频，对方称自己需要430万元保证金，想借郭先生公司的账户走账，向郭先生要了银行卡号，还把银行转账底单的截图通过微信发给郭先生。基于对好友的信任，加上已通过视频聊天见到“真人”，郭先生没有核实钱款是否到账，十分钟内就分两笔把430万元转到了对方提供的银行卡上。转账完毕后，郭先生拨打这位好友的电话，好友竟不知道此事。他这才反应过来，原来遇上了高端的电信诈骗！骗子通过AI换脸和拟声技术，冒充好友对他实施了诈骗。接到郭先生报警后，警方成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在全力追缴中。

记者以“AI电信诈骗”为关键词进行检索，发现近年来此类案例层出不穷。常州的小刘接到“初中同学”视频电话后，“借”了6000元给骗子；公司财务小王接到“领导”电话信以为真，转款2万元；王某接到省外某派出所“警官”微信视频，对方宣称，王某涉嫌洗钱等违法犯罪，需要向“安全账户”转账，因对方通过视频与王某进行了“交流”，王某深信不疑，最终受骗……

利用高科技实施电信诈骗，对普通老百姓来说堪称“降维打击”。该如何预防？共青团北京市委员会官方微博提供了两个识别AI换脸的小技巧：在视频聊天时，如果担心对方有AI换脸诈骗的可能，可以要求对方将一根手指或者其他物体放在脸前来回移动；也可以要求对方左转或者右转，然后观察他的侧脸。

监管信号

规范生成式AI发展

首个管理办法拟出台

随着AI技术不断发展，其安全问题受到越来越多的关注，监管正走向规范化。

记者了解到，今年1月10日起施行的《互联网信息服务深度合成管理规定》，从技术提供者、服务使用者以及监管等各方面，对技术的应用提出规范。其中明确，深度合成服务提供者主体不得利用深度合成服务从事违法活动，需落实信息安全主体责任，建立健全管理制度和技术保障措施。深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意。

4月11日，国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见稿）》。这或将成为我国专门针对人工智能生成内容发布的第一份政府文件，总的基调是包容而审慎。

征求意见稿提出，利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人（以下称“提供者”），包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等，承担该产品生成内容生产者的责任；涉及个人信息的，承担个人信息处理者的法定责任，履行个人信息保护义务。提供者应当按照《互联网信息服务深度合成管理规定》对生成的图片、视频等内容进行标识……分析人士认为，生成式人工智能监管号角已经吹响，产业格局和行业规则或将发生重大改变。

5月初，相关短视频平台也发布了关于人工智能生成内容的平台规范暨行业倡议，要求创作者、主播、用户、商家、广告主等平台生态参与者，在应用生成式AI技术时遵循规范，包括发布者应对AI生成内容进行显著标识，禁止创作、发布侵权内容等。