杨净 萧箫 发自 凹非寺量子位 | 公众号 QbitAI

防不胜防，10分钟就被AI骗走430万！

这是这两天震惊全网的真实诈骗案件。

(资料图)

据包头警方发布，一公司老板接到朋友的微信视频电话，由于长相和声音确认都是“本人”，他丝毫没有怀疑就把钱打了过去。

结果一问朋友，对方根本不知道此事。这人才知道，原来诈骗者DeepFake了他朋友的面部和声音。

消息一出，直接冲上热搜第一。网友们纷纷表示：离大谱啊！不敢接电话了。

也有人提出质疑：AI这么好训练？这需要掌握个人的大量信息吧。

不过，虽说是看上去离谱的小概率事件，但据相关统计，AI技术新骗局来袭后，诈骗成功率竟接近100%。

毕竟连那些直播卖货“杨幂”“迪丽热巴”、B站歌手“孙燕姿”“林俊杰”都不是真的。

△图源抖音@娱乐日爆社，疑似直播间用杨幂的AI换脸带货

10分钟被AI骗走430万

据微信号平安包头介绍，一个月前，福州市一科技公司法人代表郭某，突然接到好友的微信视频。

聊天过程中，这个“好友”透露，自己朋友在外地投标，需要430万保证金，且公对公账户过账，所以想用郭某公司的账户走一下账。

背景介绍之后，“好友”就找郭某要了银行卡号，而后甩出一张银行转账底单的截图告诉郭某，已经把钱打到了郭某的账户上。

结果因为已经视频聊天以及各种“物证”，郭某并没有过多怀疑，甚至也没去核实钱款是否到账。

几分钟之后郭某就分两笔将钱打了个过去，本想去跟好友报备一下：“事情已经办妥”。

然而，好友缓缓打出来一个问号。

好在郭某反应比较快，第一时间报警。于是在警方和银行联动下，仅用时10分钟就成功拦截了330多万元被骗资金。

有网友表示，AI正成为骗子高手新一代工具。

还有网友调侃道，我没钱，哪个都骗不了我。（等等，好友有钱也不行doge）

而在这起案件背后，核心涉及了AI换脸以及语音合成这两个技术。

大众所熟知的AI换脸方面，现在即便一张2D照片，就能让口型动起来。据此前新华每日电讯消息，合成一个动态视频，成本也仅在2元至10元。

当时涉案嫌疑人表示：“客户”往往是成百上千购买，牟利空间巨大。

至于面向更精准、更实时的大型直播平台，视频实时换脸的全套模型购买价格在3.5万元，而且不存在延迟、也不会有bug。

至于像语音合成方面，技术效果也是越来越逼真，新模型和开源项目涌现。

前段时间，微软新模型VALL·E炸场学术圈：只需3秒，就可以复制任何人的声音，甚至连环境背景音都能模仿。

而具备语音合成功能的工具Bark，更是曾登顶GitHub榜首，除了声色接近真人，还能加入背景噪音和高度拟真的笑声、叹息和哭泣声等。

在各类社交网络上，各种小白教程也层出不穷。

要是结合虚拟摄像头，可能就更加防不胜防。

只需一个软件应用程序，就可以在视频通话中使用任意视频资源。

△图源微博@哑巴

点击接通后，对方完全不会看到播放、暂停视频等具体操作，只会看到视频播放的效果，“接通后看到的就是美女了”：

这样一来，不仅视频可以通过虚拟摄像头，随意拍摄甚至更换，甚至连说话方式都可以真人定制：

核心技术门槛的降低，也就给了犯罪分子可乘之机。

AI新骗局成功率接近100%

事实上，AI加持下的新型网络诈骗，并不止这一种操作。

无论是国内还是国外，都有不少用AI换脸的诈骗案例，小到在网络购物、兼职刷单等方面骗点小钱，大到冒充客服、投资理财人员等身份，获取银行卡账号密码直接转一大笔账，都有出现。

在国内，据南京警方消息，此前就出现过一起被QQ视频AI诈骗3000元的案例。

当事人小李表示，自己的大学同学小王通过QQ跟自己借3800元，称自己很着急，因为表姐住院了。

小李怀疑了小王的身份，而小王很快给她传来了一个4~5秒左右的动态QQ视频，不仅背景在医院，而且还打了声招呼。

这让小李打消了疑虑并转了3000元，然而随后发现对方已经将她删除拉黑，发现视频原来是AI伪造的。

目前包括北京反诈、武汉市反电信网络诈骗中心等官方公众号平台，都警告了AI技术新骗局的严重性，甚至表示“诈骗成功率接近100%”。

可别以为这些诈骗现象只在国内出现，国外的语音诈骗同样花样百出。

一种方式是用AI合成语音骗取电话转账。

据Gizmodo介绍，英国最近就同样发生了一起涉及金额高达22万英镑（折合人民币约192.4万元）的诈骗案件。

一位当地能源公司的CEO，在不知情的情况下被骗子“DeepFake”了自己的声音。随后，骗子用他这段声音，电话转账了22万英镑到自己的匈牙利账户。

据CEO表示，他后来自己听到这段AI合成语音时都惊讶了，因为这段语音不仅模仿出了他平时说话的语调，甚至还带有一点他的口癖，有点像是某种“微妙的德国口音”。

另一种则是用合成语音冒充亲友身份。

据nbc15报道，美国一位名叫Jennifer DeStefano的母亲，最近接到了一个自称是“绑匪”的诈骗电话，对方称劫持了她15岁的女儿，要求这位母亲交出100万美元的赎金。

电话那头传来了女儿的“呼救声”，不仅声音、就连哭声都非常相似。幸运的是她的丈夫及时证明了女儿是安全的，这次诈骗才没能成功。

现在，不仅是诈骗，在AI技术加持下，就连杨幂、迪丽热巴们都在今天引发了热议。

原来，这是商家们想出的新“搞钱之道”，那就是在直播的时候，用AI换脸等技术“Deepfake”一下杨幂、迪丽热巴、Angelababy等明星的脸，这样大家就会误以为是明星本人在带货，从而拉升直播流量。

然而，这类行为目前还不能被直接判定为侵权。据21世纪经济报道，北京云嘉律师事务所律师赵占领表示：

平台对于平台内商家的侵权行为不承担直接侵权的责任，而是否构成帮助侵权，主要是看平台对于商家的侵权行为是否属于明知或应知。但对于如何判定平台对用户、权利人的投诉是否明知或应知，在一般情况下很难认定。

显然，在AI技术越来越火热的当下，相关法律也还需要进一步完善。

One More Thing

就在昨天夜里，最近火爆全网的“AI孙燕姿”本人，也就是歌手孙燕姿，出来回应了。

她发布了一篇名为《我的AI》的英文版文章，这是她团队的中文翻译全文：

然后，网友们看到后的评论是酱婶的：

△图源微信@南方都市报

参考链接：[1]https://mp.weixin.qq.com/s/Ije3MyQxN-kkw4jCE5Wieg[2]https://mp.weixin.qq.com/s/kcbNlaFe_-ebYNlfoGcIoA[3]https://gizmodo.com/deepfake-ai-scammer-money-wiring-china-1850461160[4]https://www.nbc15.com/2023/04/10/ive-got-your-daughter-mom-warns-terrifying-ai-voice-cloning-scam-that-faked-kidnapping/[5]https://weibo.com/1796087453/JEaCeaOK6[6]https://weibo.com/1420862042/4904325194975650

关键词：