常州网

不信邪的,进来一下!

 他是我 

 我是谁 

🙃🙃🙃

伴随AI技术的飞速迭代,越来越多人开始问出“哲学问题”了。在声音、面容都能够被精准复刻的时代,人们再次被卷入“证明我是我”的自证漩涡。

 明星的面孔被随意替换 

 亲人的声音成为诈骗工具 

个人身份的真实性

似乎也变成了一种“稀缺”

明星成AI诈骗“素材库”

近日,演员温峥嵘自曝刷到AI假冒自己的直播间。

当她发言质问

“你是温峥嵘那我是谁?”

令人啼笑皆非的是

真温峥嵘被假温峥嵘拉黑

此前也有媒体报道,有人在抖音平台利用AI仿冒奥运冠军全红婵的声音带货土鸡蛋,大量粉丝误以为是本人,商品被售出4.7万件。

明星的脸和声音

正沦为AI诈骗的

“素材库”

在常州,通过AI技术实施的诈骗同样频繁上演。

今年7月,金坛唐大妈被“AI换脸+假警服”的双簧戏欺骗,差点送出40余万元“保证金”;10月,同样是金坛,一位老奶奶接到“外孙”哭求10万元赔偿而被骗5万元,最后查明是AI变声伪造。

当明星的脸、亲人的话语被AI复制,传统依赖视觉与听觉的身份验证方式正在失效。

而不久前,一种“流浪汉闯入家门”的整蛊方式在互联网上爆火。

只需一张自家照片

输入一句指令

一张几可乱真的照片

便诞生了

类似整蛊在多地上演,有的导致警方连夜出警,却发现只是“乌龙事件”。

若对AI技术只停留在“新鲜、好玩”的认知层面,在技术滥用之下,AI生成内容的高度逼真内容,很容易对社会造成不可估量的负面影响

AI,定制一个“你”

当前,AI技术的发展,已经不是简单的“画质升级”,而是AI逐步“理解了”我们真实世界的运作方式,观众无法第一时间分辨其真实性。

新一代的AI换脸技术非常自然,真假难辨

图源B站up主@红差探长

此前宣传的“观察画面是否失真”、“人物遮挡脸部是否扭曲”等防范手段,经过短短几个月的AI技术迭代,可以说基本无效。

尽管大多数在线平台都有着一定的监管手段,但是通过本地部署AI大模型,并运用一些技术手段,便可以绕过监管,几乎能让AI做任何你想让它做的事

某视频平台教程

眼见不再为实

耳听也可能为虚

拟声克隆的AI模型,只需要2秒以上你的语音,就能几乎完美复刻你的声线,还能切换开心、愤怒、悲伤等不同语气,并且开源免费。

据11月19日凤凰WEELY报道显示,AI换脸技术背后,形成了一套较为完整的灰色产业链。

换脸换声人民币463元

只换声音约为228元

并且都可以定制话术

还有人专门

组合兜售诈骗软件和教程

图源:新京报

几百块,就能“定制”一个“你”。AI技术的迭代,让诈骗的“技术门槛”与“实施成本”持续降低,而普通民众的“认知门槛”却在不断抬高。

技术滥用,监管亟待完善

事实上,今年AI技术的迅猛发展,在医疗、教育、交通等诸多领域展现出巨大潜力,AI带来的便利与进步有目共睹。

技术本无善恶

关键在于使用者

以及监管、保护措施

当前,社区反诈内容仍停留在“不要转账、不要刷单”的提醒,对于AI诈骗的防范是不足的。当犯罪分子用上最新的AI技术生成定制化骗局时,防护效果可想而知。

小观测试上传某明星照片,并成功生成AI视频

现行的技术监管、法律监管对AI使用的规范仍然存在缺失。譬如对于“肖像权”的保护,大部分AI软件几乎都可以不受限制地使用他人照片,而不受任何阻碍。

今年9月1日起,由国家互联网信息办公室等制定的《人工智能生成合成内容标识办法》开始施行,要求所有AI生成的文字、图片、视频等内容“亮明身份”,即添加标识以明确其来源和真实性。

但某平台技术人员表示,高度逼真的文本、图像甚至实施深度伪造(换脸换声等),传统识别模型难以应对。

平台检测当前并不能100%有效,标注不标注有时候可以说全凭“自觉”。

AI新技术

正如脱缰的野马

跑得飞快

法律的缰绳

总有一天能驯服“它”

发展与治理并重之下

AI才能成为造福的工具

而非犯罪的帮凶

来源南方都市报、中国青年报、凤凰周刊
编辑江雅芸
常观APP下载