S4E10｜AI 换脸，请准备好韩国 N 号房 2.0 的冲击
01:03:06 Share

用声音碰撞世界生动活泼欢迎收听商业外教我是杨萱让我们一起来向世界多问几个为什么在这个快速变化信息爆炸的世界挑选你不容错过的商业现象了解以不变亿万变的本质逻辑嗨 欢迎收听这一期的商业外教我是杨萱一个观察人类在各种风口反复横跳的主编

这一次想跟大家聊一个不那么商业的话题但是跟技术有很大的关系我们这个节目在这一轮 AI 浪潮兴起的时候采访过很多行业里的人然后跟他们聊了这一次的 AI 大爆发

但是最近這個技術站到了一個跟人類社會起了強烈衝突的這麼一個風口大概在 8 月底的時候有韓國女性跑到中國的微博上呼救是因為說韓國出現了 N 號房 2.0 事件什麼意思呢如果大家還記得 N 號房事件就是說有韓國男性靠拍攝這種

性剥削女性的这个视频去牟利当时是引起了非常大的社会震怒那这次这个 2.0 版是说有韩国女性来获救说有韩国男性用 AI 换脸的技术尤其是因为这一轮的 AI 技术让这个换脸换得特别的逼真难辨真假去制作这种性剥削的照片然后物料自己去看有人可能是牟利

我觉得这是一个技术对人类社会产生重要冲击的一个很重要的事件和议题所以这次想跟大家聊聊这个这期我请到的两位嘉宾是三肉客的两位记者因为其实我们在这个事件出现后我们迅速地组成了一个小队

因为当时我看一些同行媒体包括一些 AI 媒体可能大家做的都是资料综述大家可能就是打耳一响会觉得说韩国嘛对吧然后又出这种事了那用一用技术然后资料搜集一下然后可能就把这个新闻写出来了但是我们会希望说我们去采访世界的当事人采访行业里的就是相关的专家去看看说有没有就是说资料

整合汇总之外的更多的真相去发现然后我们的两位记者一位是丸子一位是阿蔡因为我觉得这一次的事件比较紧急所以我会希望说两位记者也作为他们所采访对象的发声人把被采访对象的这个意见和感受传达出来嗨 两位好

其实我希望两位回答的第一个问题是你们会觉得说这一次的这个 AI 技术然后 DeepFake 换脸这个事会让这种性侵害照片的犯罪的难度和这种受害人的广度都会变得很大

你们实际去调查的时候你们会发现就是说这个事情的难度会下降多少然后这个侵害的这个广度会增加多少基本上你现在如果是一个完全不懂技术的小白

其实你都可以在网上找到非常多这样的服务比如说像我们这次采访到的一些小商家基本你可能花个五块钱十块钱就能换成一张非常清晰的女性的图像或视频而且这些视频都非常的逼真如果你不细看的话其实很多连续真它都能保持一致性这个是这次事件我们觉得比较可怕的地方

它的这个传播广度或者说它的这个受害人这个广度跟上一次 N 号房 1.0 时期相比增加了多少其实 N 号房 1.0 当时还没有做伪造或生成对

对 这一次 AI 技术有一个非常大的不一样因为当年 N 号房 1.0 事件的时候你就是需要你去实地的物理的肉体的犯罪的那个时候受害人才有多少那这一次 AI 换联我知道它这个受害人的广度是非常大的能不能讲讲这个数字上的区别 N 号房 2.0 事件大爆发之前其实今年从 5 月份开始韩国警方有陆续去抓一些性剥削内容的案例

比如说五月份的时候就抓了一个首尔大学的男学生他已经 40 岁了他制作了他身边大概 60 多位女性受害者的 AI 伪造的图像或视频他总共制作了 1000 多份他一个人就能制作

一千多份的这种性剥削的内容而且涉及 65 个人这种情况在以前 NHK 1.0 的时代你很难做到 NHK 1.0 的时候你在街上是无差别的偷拍嘛但是 2.0 的时候其实你很多时候是针对熟人作案这种作案的性质会更恶劣一点因为很难是在一个房间里面跟其他男性共同羞辱你们一起认识的女性就是你们这个圈子里面的女性这个会对

受害者女性造成更大的困扰有时候这种羞辱跟讨论甚至会引伸到线下有一些好事者或者是一些特别恶劣的人他们会拿着 AI 伪造的图片去威胁攻击他们威胁他们做他们想要做的事情当时是不是有一个所谓的受害者地图那这个受害者地图能够显示了这个

认为自己受害的女性的数量多少我们当时看到那一张加海哲地图还是非常震撼的你就会觉得韩国这么逗大一点的地方它竟然没有幸存的角落就基本上这整一张全部都是红点那张地图是几乎覆盖了韩国所有的小学中学大学能说一下那张地图是怎么制作出来的吗这张地图是当时这个事件爆发之后韩国上面有非常多女性主义的账号会接到很多受害人的投稿

他们这些受害人有些是诉说自己的经历或者是有一些是举报我所在的学校或者是班级有这种说能领入房所以当时是志愿者根据现在网上所有的投稿的情况他们一一经过核实或者是根据一些新闻报道把受害者所在学校的这个点标上志愿者当时临时搞了一个网址这个网址里面的地图还在实时更新的所以我们报道里面也不是一个最新的版本

那 500 多所是一个什么样的概念因为韩国只是一个 5000 万人的很小的一个国家所以我觉得 500 所这个学校也是非常触目惊心的主要的群体是在中学跟大学但这一次的事件里面很多也有小学生还有小学生因为小学生也很容易拿到这些 AI 的工具来换脸了

现在顺便上有非常多的软件就是这两天我看到一个新闻就是韩国又上线了一个 AI 换脸的 APP 过滤器做的不是特别的好你把一些图片放进去你能生成出一些姿势非常尴尬的照片他们可能就是训练的时候训练了很多色情照片比如说有个丈夫他把自己的新婚照片想

上传到里面去批结果出来的照片是一个女的双手抱胸而且还姿势特别的不雅就类似这样的事件在韩国就层出不穷吧在这些基本事实之外我们其实去采访了蛮多的事件的参与人然后也采访了一些专家你们采访的跟这个事件有关的当事人

然后有谁是让你们印象比较深刻的因为我这边采访的参与到这次事件里面的韩国人我当时是聊到一个比较积极的在这次事件里面发生的女传博主得知的一个比较令我意外的事实是这一次事件的热度远远没有 19 年 N 号房事件发生的时候高

其实我们所能感知到的事件热度其实都基本是韩女在中国微博上呼救上了微博热搜对 29 号微博发布之后那条微博就被转了将近 20 万次这个在微博上的热度也是非常可怕了

但我们跟他们聊的时候女权博主就告诉我们说其实韩女来中国户就正是因为一开始没有办法在韩国的社会里引起舆论的关注为什么因为当时像政府警方其实一开始都没有把这个事情当做特别要紧的事情第一是因为 AI 换脸它不是一个真实的内容它不是偷拍也不是盗社所以你要怎么定罪

其实没有人说得清楚就是说 AI 伪造的视频或图像内容其实没有真正进入到法律的视野里面这也就是说这其实是很多新技术刚刚出现的时候对人类社会产生了冲击但人类社会还没有办法快速地做出反应对这也是我觉得今天这个讨论很有意义的地方对 这是一个司法的盲区然后第二是因为很多男性其实他们知道制造这些内容是不

不会对他们自己有什么影响的哦 为什么因为 19 年 N 号房的事件当时政府跟警方虽然舆论关注度非常大但你也看到最后的结果他抓到的人没有特别的多你在房间里面传播这个信息看这些信息的人绝对有非常的多但你最后只抓了这么一些人而且他们所判的刑期都没有特别长

所以韩国的男性可能就把这个事情谈笑风生就过去了包括这次 Fake 事情出来之后看到有一些新闻报道是说聊天室里面的一些男性就说最近先关闭一下这个聊天室等风波过去了我们再开大家都是一种比较轻松的状态这些比较轻松的人是观众吗他们的身份就是在聊天室里面的观众或者是运营这个聊天室的人他们

他们就觉得说自己只是看看对我采访了一个韩国女性她告诉我一些情况是她的妹妹就在一所中学里面女生们都非常的害怕因为这个新闻出来之后她们就开始把自己设在外面上的照片删掉日常出门的时候也不敢戴口罩了因为怕外面有人偷拍而且不敢穿短裤不敢裸露自己身体的部分

但是她的妹妹观察到学校里老师除了把大家聚集起来让女生保护好自己之外其实没有对男生有其他的教育而且她跟她身边的朋友讨论他们也能感知到男生会拿这个事情来取笑玩乐就觉得这个事情又是一些女权主义者在起风作浪又在那里闹所以这个就是说一方面女性感觉到自己的生存空间又被挤压了

但另一方面男性觉得说不是多大个事吗对吧甚至没有什么实质性的物理伤害产生就是用 AI 换了个脸而已认知之间有一个很大的隔离我不知道阿蔡你有没有采访一些就是跟这个事件本身有关的当事人为什么

我先可能刚才更正一下一个说法就是 19 年的时候其实他虽然犯罪者他抓的不是特别多就抓了 15 个人但其实他判的还挺长的就是无期徒刑其他人有 40 年以上的就其实他判的是很重的但抓的人真的非常的少因为当时定罪特别的困难好那我们就回到采访的这一个话题

其实像我的话丸子主要是在就是采访韩国那边受害者但其实我们后来会发现当 8 月 30 号之后这一件事情上热搜之后其实越来越多的中国受害者在微博上站出来诉说自己的经历所以其实那个时候我觉得也是非常震撼的才第一次知道原来国内其实女性也面临着同样的一个困境等一下中国受害者是指说比如她的照片被

韩国男性拿去换了脸还是说中国受害者女性她就是比如说她本土的她身边的人手人拿她的这个照片去换了脸甚至可能会情况更加复杂一些可能身边的女性会有遇到说

男性友人或者是认识的一个男性拿自己合成的照片来敲诈勒索的也有就是男性单纯就是把女性的照片合成之后放到一个群里用来牟利就其实他这个情况非常非常多但大家都是被就是 AI 进行 deepfake 之后进行了一个性侵害所以当时我是在社交网络上就是联系到了一位

女孩当时看到她的经历的时候其实我也是特别震惊的因为她只是一个 15 岁的初中生是在她中考考完试之后然后她有一天在暑假的时候突然间收到了她后桌男生发来一张照片她当时就觉得非常震惊她第一反应是说我竟然会有这样的照片

我什么时候把衣服脱完了因为这张照片对他来说太逼真了他甚至一下子就没有认出说这到底是假的还是自己真的干过这个事他内心是非常错愕的可能以为说太像真了就是自己什么时候就是脱掉衣服的照片被其他人拍到了对他甚至会觉得说我怎么会做出这样的姿势

后来可能脑子想清楚的时候他仔细看突然发现这具身体不是他的因为就是作为一个就是初中女生她可能才刚刚发育她也跟我说她才换上内衣不久然后但是她当时被换的那张照片其实是一个相对来说比较风雨比较成熟的一个女性的躯体

他后来才意识到说他可能被换到了另外一个就是身体上然后他当时是非常非常惊讶的然后后来我问他说这件事你有告诉你的班主任或者是告诉你的父母吗他说没有然后我问他为什么他说因为那个男生是他的同学他也只是一个 15 岁的男生他一旦告诉老师老师也只会说

男女女生之间嘛小孩子之间开玩笑非常正常其实他之前在和男生的相处过程当中经常会遇到男同学嘛开黄色玩笑或者甚至就可能会拉女生的这个内衣的带子但是这一些都被老师当成是小打小闹可能就是训斥几声这件事就过去了

然后所以的话他当时其实对告诉班主任也好或者是告诉父母也好是存在一个就是非常悲观的想象所以这件事他其实藏在心里已经蛮久了他也是到了高中之后打开小红书看到有更多的女生愿意站出来说自己的经历所以他才敢站出来也就是说他这个事在心里应该憋了得有个一年多也就是说这个 AI 技术的发展其实在一年多前就已经开始

造成这样的伤害了是的而且我印象中就是说其实你们应该是在去了解这件事情的过程中有一些让人比较惊讶的发现对吗其实我记得你之前提到过说其实这次有一些加害人他其实是未成年人

主要是因为自从二年当时有一波文生图的热潮底层算法是有比较大的进展的简单来说就是这个生图的成本也好还是需要的原料也好越来越少我们就说 N 号房 1.0 的时候如果你要制作一个视频的话那个时候难度非常高因为你要制作这个视频首先你可能要一帧一帧的把这个脸换掉

而且如果你的连续帧搞不好的话其实你可能比如说上一秒还是你的脸下秒就是别人的脸这个脸会扭曲变形当时的算法还是很笨的但是到了现在大家应该都有听说年初的时候 SORA 的推出其实那个时候 AI 视频的生成的底层算法在今年是有非常非常大的创新的技术高速发展的暗面就是这种技术被滥用到色情的

长进里面就是说不只是换点黄图了还会整个换成视频对整个换成视频很容易非常容易比如说 10 秒以内的视频你只要找到相对比较好的算法换成一个非常逼真的已经不成什么问题了未成年人也可以做到吗我觉得聪明一点的可以做到如果你不懂什么算法你随便在网上找个小软件都能做到这种效果你说换视频的效果吗不对图像视频的话还是需要一点点

其实关于就是这件事当中为什么未成年这么多还有一个非常重要的点在于就可能 deepfake 它已经成为一条产业了我在想就算我是一个啥都不懂我甚至可能都不知道这些技术到底咋搞我还是能非常轻易地在社交网络上或者是公开互联网上找到一些专门帮你去做这一些图的商家

就比如说我们在推特上我随便输入一个 deepfake 的时候立马就有小广告跳出来了说 10 块钱生一张图 30 块钱生一段视频就其实相当于我只要付这个钱我就能很快就是享受到这样一个就是 deepfake 的生成服务相当于就是说对于这些加害者来说他其实现在付出的成本特别特别低就是小学生就能做到这种换脸黄色图片也好或者换脸的这种视频也好

能够那么轻易地被获取跟中间的商业利益是有关系的是的那是什么人在牟利我采访到的一个案例里面有一个受害者他告诉我其实很多人

他用你的脸去换到一些黄色水瓶上面并不是为了可能直接向你勒索或怎么样其实更多是基于一种商业利益去做的他大概一年多之前去韩国旅游从韩国旅游回来没几天就收到了

朋友的私信说这个高仿账户是不是你他当时没有怎么当回事但是越来越多朋友找他之后他就点进去那个账户看发现个人简介上面的有一条网址那条网址他就点进去里面就是一个非常完整的像一个电商独立站一样的地方他的

换脸的视频被非常整齐的罗列在整个频道里面都是他的视频他当时只敢点进去了一个然后点进去发现非常非常逼真逼真到他看了可能不到一分钟就感觉生理不适就退出来了就当时他就发现说这些视频都是要付费观看的意思就是说可能骗子把他的脸换到各种各样的色情视频上面然后可能他用各种方式导流

在互联网上陌生人就能点进去然后如果 OK 我看到你的脸好看或者是怎么样就付费就可以看了防护慎防所以就是如果你在网络上发过自己照片的都有可能被拿去做 AI 换脸而且在你不知道的角落这个就是我们觉得这件事情非常恐怖的地方对 而且现在的女生哪个女生不在社交网络上发照片对吗我简单的理解就是说这其实是一个 AI 换脸的

AV 女优视频就是相当于零成本就像短剧一样嘛零成本把这个脸换成一个亚洲人美国人或怎么样所以你一个事情视频就能产生不同的版本这就是跟你们刚才讲到的这种什么十块钱什么帮你搞一张图这可能又是一个升级版的商业模式了对我记得我们当时聊天的时候有个事让我印象挺深的就你们提到有一个 AI 的这个女性创业者

然后他会说他身边的人会建议他说搞点黄色不然的话你这个东西很难引力这是现在这一代这个 AI 创业的一个窘境吗我觉得这代表一个非常共识性的一个话题像我接触 AI 行业就可能也就这两年的时间就你能看到说市面上做得非常成功或者是他现在已经就是有商业化数据的基本上都是带点擦边的这种社交的产品

印象特别深是我之前还跟一个就是 AI 公司的就是产品经理聊过就因为他们的产品其实在海外还相对来说非常的成功就甚至是用户留存率很高然后付费率也特别高然后我当时问他说这个成功的秘诀到底是什么他就跟我说搞黄色然后这点是就甚至还会有投资人会跟我说

色情是当下 AI2C 产品最成功的一个商业模式就这东西它可能不只是一个个体行为它可能很多时候是一个商业性我觉得还有一个事我觉得是在看了研究资料之后给我留下比较深的印象我要先说一个我的立场我觉得我算是一直比较拥护技术进步的那一类人

所以当出现这个 N 号房 2.0 事件的时候我当时就在想这东西是技术的错嘛我后来看你们的整理的资料里面我发现有一个偏地图炮的东西是有一家调研和研究机构他们做了一个就是说哪些国家就这种 AI 换脸色情内容的渗透率比较高其实它不是一个全球军制的这么一个情况对吧

它其实是有高有低的能讲讲这个调查吗当时这一个报告其实是 2023 年也就是说这个 AI 技术可能刚盛行一年的时候一家叫做 Security Hero 的网络安全监测公司做的一个报道

它是统计了大家耳熟能详的一些就是社交媒体上面诞生的这一些 deepfake 色情视频然后他们去统计了这个视频的来源就包括像这个视频发布者的 IP 地址然后经过这样一个统计之后它可能得出了一个大概的 deepfake 色情来源的地图然后其中非常惊人的一个发现就是仅仅是韩国这么一个

小地方它就占了就全球的就是色情 deepfake 视频来源的 53%其他还有哪些国家比较高排名第二的其实是美国它有 20%对然后剩下的就会让人非常惊讶就比如说像中国虽然我们可能会认为中国有自己的一个道墙你觉得这些东西然后就包括像在色情产业在我国也是禁止的但是就算是这样就我国还有 3%的

这样一个纪律在全球排名第五因为我当时看到的时候呢我就反正就有点地图炮我觉得这可能是当时看到这个韩国文和房 2.0 事件第一反应我就哦又是韩国我觉得它很多时候不是一个纯技术问题它更多是跟一个地方的文化习俗然后社会观念然后这个社会里的男性女性的权利结构是有强烈相关的

因为你们当时就聊到过说韩国男性投名状这个事情就参与这种事件对他们来讲好像是一个融入集体环境的一种行为不管是韩国就包括像东亚三国都算是一个集体性非常强的几个国家可能几千年来儒家文化影响就包括像韩国它其实会非常讲求

阶级就是上下级的阶级就像比如说我要尊老爱幼比如说我是一个弱者那我就要服从强者它其实是非常讲究一种阶级和秩序的一个国家上次 N 号房事件是说参与这个

观看的用户大概有 26 万这次有 22 万 26 万和 22 万这两个数字在韩国是一个什么样的概念因为我印象中好像是有一个很有意思的比喻是说韩国的出租车司机也是 26 万

也就相当于说你每碰到一个出租车司机他可能就是一个 N 号房的观众对 这个是一个网友的评论但我觉得非常有代表性就是这句话其实是 19 到 20 年 N 号房 1.0 的时候他们提出来的因为最大的房间里面大概有 26 万的男性嘛然后那一年的韩国出租车司机的数量

是 29 万所以相当于说你可能在街上碰到一辆出租车的概率跟你遇到一个 N 号房会员的概率是一样的当时我记得有韩女就在下面评论说就是她可能被偷拍过有偷拍经历就在那条评论下面就回复说她现在出街想到这个事情就会胃部紧乱就会觉得非常的难受因为她觉得在公共区域里面也是不安全的所以

所以也就是说这个网络安全检测机构他们是基于 YouTube 上的等等可能全球比较重要的这种视频网站搜 DeepFake 的这种视频然后做出来这份报告然后韩国是 53%美国是 20%韩国是美国的 2.5 倍韩国这么明明小一个国家跟美国这么大一片国家比是人家的 2.5 倍我觉得这是一个社会文化结构的问题

你总不能说韩国人的这个 AI 技术比美国人好吧我们采访到了人跟那个就是公开信息里面就是大家或者说大家脑补的那些信息里面有什么东西是不一样的就是能看到特别多微博上的评论都会回复这一些就可能站出来的旅行上海人说你为什么不报警呢就是报警了不是就很快能解决吗就其实我觉得就有非常多的人会有这样的一个

印象就是说女性只要遇到这样的事报警就可以解决了但其实能够发现就是报警其实

它已经算是在整条维权过程当中非常靠后的一个环节怎么讲为什么非常靠后其实像现在报警如果你要警方立案的话其实你需要给警方提供一个基本的事实证据就比如说在 deepfake 侵害这个事件当中女性需要提供的基本证据就是律师告诉我们你要包括就比如说你要找到你的照片传播的这个网站到底叫什么

以及这个照片到底被生成了几张如果你被生成的照片只有一两张警方是不会立案的你还要知道说

整一个就是你照片的传播链条当中大概有多少人在传播你这张照片就你作为一个普通的女性其实你要完成这一整条就是证据的调查是非常非常困难的非常非常多的侵害事件都发生在像 Telegram 这种隐秘性非常非常高的聊天软件当中所以就其实对于一般的女性而言你就已经卡在取证这一个路上了你根本到不了报警这一步

这个事听起来不妙啊更加不妙的是你一旦说你这个案件没有办法被立案然后之后你在立法的过程当中你找到的判例就会越来越少你可能基本上没有判例去帮你去完成立法这一步然后一旦立法不行的话你在判决的时候你的权利

权益又没有办法得到有效的保障所以就整一条链路的话其实是环环相扣的就相当于是说我们现在整一个报案体系的不完善导致立法体系的不完善最终导致整一个法律体系它可能就不站在女性这一边既然整一个系统不站在女性这一边那愿意出来讲述自己遭遇然后愿意出来为整一件事情发生女性就会越来越少你采访的这个律师他是一个什么样的背景

她在聊这些东西的时候她是一个基于自己的想象还是说她是基于自己多年的实践从业经验我采访的律师她叫张金她其实是一个就是非常资深的就是在女性权益做了二十多年公益律师的一个人她甚至就是可能在我们比较熟知的比如说像千千

她也是一個女性公益的律師事務所在這邊她也做了非常多年的工作所以她其實對於整一個十多年來女性在維權過程當中遭遇的困境她是了解得非常清楚的她當時就跟我說她遇到過非常多的女生她其實都已經被迫害到一種得抑鬱症了 得雙向了這種程度她依然不敢走向

警局去报案或者说在网络上发生因为他们很害怕说自己发生的结果是引来就是更多的就是二次性加害不仅是

来自就可能是加害者的报复更多的压力可能来自于就整一个社会对她们的审视吧很多人都会说就是女性受到侵害就是苍蝇不叮无风的蛋可能说是这个女性本身出了问题但其实并不是这样的但是就在这样的就是社会评价体系当中就女性就不愿意出来讲话对比如说这个 AI 换脸

换的是女性的这种裸露的照片和视频那大家的感受我猜大家都能想象比如说屈辱害怕对吗但如果这个换的是一个男性的脸大家还会有同样的感受吗我觉得其实可能不会因为就是因为这个社会把女性的这种什么裸露啊我不知道当做一种觉得羞辱应该觉得丢脸然后被看不起

的一种行为所以是一种对名誉的严重的侵害大家才会害怕这个事情就觉得你这个人就很糟糕男性无所谓啊这事本质是女性的权力结构低然后呢在这次 AI 技术里面又一次被压迫

这个本质不是一个技术问题它本质是一个权利结构的问题是能感受到因为像几千年来社会普遍的观念是女性的身体就是男性的所有物男性对女性的规训一切都来源于是说因为你是我的所有物所以我不允许你的身体在其他人面前裸露被其他人所拥有对这是一种非常强烈的就是占有欲望是的

我说一个个人经历我记得当时去一个饭局然后这个饭局上有一个同行的大佬这个大佬呢就抓着我的手然后说了一些很过分的话就是偏就是

性骚扰但是我当时就是我也没有太生气然后就把这个人推开然后就结束了后来我跟我的女性朋友就聊这个事的时候他们就说你为什么不生气一般女的就是女性遇到这种事不应该都很生气我说他跟我没有什么利益关系然后我就拒绝他就好了

这是一个很普通的行为但是性骚扰力最让人觉得无助和绝望的是说男上司和女下属会说你们是一个男客户和女的乙方的关系就是你们有办法拒绝所以它本质上不是一个就是说男性有没有对女性发出与性有关的邀约它本质上是因为说由于无法拒绝由于我权利结构低然后导致说我觉得被压迫

大家本质上是在愤怒这个事情吧我觉得你当时可能没有反应的一个原因也是因为说她是个男的就如果说因为长期以来可能女性我们在社会里面被规训被压迫已经成为了一种潜意识的习惯一旦我们遭受到让人不快的情况我们对于直接把自己的情绪发泄出来是有很大的顾虑的

就是我们天然会觉得说这会不会让场面变得尴尬会不会让场面变得难看比如说我之前也会经历过男性在可能公安场合发表一些很让人不快的言论但是我最后的选择大部分都是咽下如果是有针对我本人的情况我可能当时是整个状态是僵住了其实我内心可能是愤怒的但是我没有办法来得及反应就是我的愤怒没有办法超出我

从小到大以来被规训的被压迫的这些东西这个我觉得是大多数女性遭受到的情况包括你在职场上也可以观察到其实男性更多时候是比女性更敢去说话的即使他们对一些事情不太了解但女性可能会思考很多比如说我们可能要做到 80% 90%才敢说但是可能男性不一定是这样比如说像那个 deep fake 这个事情有一些

大家只是觉得好笑的事情比如说马斯克被换脸对吧他觉得挺好笑的然后也无所谓嘛马斯克跟特朗普都经常被换脸嘛其实马斯克跟特朗普都有被换到女性的身体上面的经历但是他们本人在推特上面就是会把这个事情当做笑谈他们压根不会有任何羞愧或者是愤怒的想法是啊所以我觉得就是

这玩意儿本质是一个女权权力结构的斗争我觉得 AI 只是一把很锋利的刀极其锋利的刀但是这个刀最后是握在人的手里的所以我觉得这个东西与其说它是个技术问题不如说它可能更是一个女性持续斗争遭遇的一个新问题吧我觉得我们可能就是也不能止步于说觉得像阿恰刚讲

可能有非常资深的这个履行权利斗争经验的这个律师觉得说这个事很悲观我们就止步于悲观那我觉得还是应该还是有些事情可以做的举个例子这个问题里面有技术的一面对吗那有技术的方法可以去对抗它吗

最近有一个新闻还挺火的,大家应该也都有听过,就是一个中科院自动化研究所的团队把自己用来参加比赛的一个反低废算法开源了。我觉得这个就是技术人员能做到的非常重要的贡献,因为其实本质上现在做低废算法技术或者说做纹身图算法的人很多,但是

但是你真正做对抗做安全的这些人永远都是稀少的如果有更多的人把这些算法开源了其实对整个反 DeepFake 算法的贡献是很大的你讲这个话其实有前提条件对吧就是说其实做反 DeepFake 的人是少的

因为做 AI 换脸有商业利益但是反 AI 换脸没有商业利益其实现在能够感受到 AI 行业的从业者女性是非常非常少的甚至你可能追溯到 AI 诞生的实验室里研究员也大都是男性所以当时其实我在跟一个女性从业者聊的时候她一个疑问会让我就觉得非常有值得思考她就是说如果研发出 GAN 的

是一个女性团队就是这次 AN 换脸最基础的这个技术对对对如果开发出这个技术是一个女性团队那事情总想会不会也像现在这么失控还是说它能够得到一定的缓解呢

其实能够想如果是一个女性团队来做这个事我觉得她的顾虑是会非常多的她可能已经想到说这一个技术被应用到各种场景之后它可能带来的不利的后果尤其是可能这个技术诞生之初它会对女性造成怎样的侵害她可能会考虑更多这样的事情所以我当时会觉得说如果 Gang 是一个女性团队开发的她可能会给她设置各种各样的违禁词或者是防火墙

让他变得不那么能够被加害者利用到整个技术的漏洞当时我是这么想的就是可能延伸到下游的产业链其实现在的基本上所有的 AI 产品我觉得他可能更多的会考虑是男性用户的利益因为就真的是用一句特别俗的话来说就是爱哭的孩子

能夠拿到糖就現在其實我們能夠感受到非常多的女性用戶她也是不敢直接表達自己的意見的就甚至是我在採訪那一位從業者的過程當中她說後台收到投訴大部分都是男性用戶而且男性用戶投訴的重點就是說在於這個產品不能幫我生成色情的圖片但是女性用戶當即便是你在這個平台上發現有色情內容的時候她其實也會很少

说我去主动的按下这个投诉键去表达我的意见对所以现在其实这样的整一个就是结构就会导致现在目前市面上大部分产品往往要满足这些男性用户的需求去讨好这些男性用户然后才能保持我这个产品的运营女性不应该认为说自己不能搞技术

也不应该放任说 OK 技术的世界是一个以男性来主导的世界如果我们自己自我放逐然后觉得自己不行然后把权力交出去那不好意思那这个世界可能就确实是以男性思维主导的因为我印象中当时在看资料的时候就看到过说有一个当年初代这种 AI 换黄图的软件叫 DeepNude

然后当时那个程序员因为这个就是被很多人投诉嘛最后把这个软件下架了下架之后他自己说他说我不是想怎么地我只是一个技术爱好者好像就是说他只是因为脑子里缺这根弦所以就是做了这么一个产品我觉得这是一个很男性思路的想法就他不觉得说这个事是个大事对吧他就干了

如果说那世界如果女性不在这个技术的世界里面拥有一席之一的话我并不觉得说那个男性的这个开发者一定是一个坏人就是打银行的那种坏人他可能就是他思路就是这样这个是由他的屁股决定的由他的性别决定的对吗那如果女性不去掌握争取去掌握技术世界里的主动权那

当女性群体性的遇到像今天这个 AI 换黄图的这种事情的时候那可能就会比较无力了而且我印象中是不是那个愿意开源的那个技术团队里面是有女性开发者的那个团队就全员都 25 岁决定开源的也是其中一位研究员叫张欣怡对她也是看到韩国 DeepFake 这个事件非常的愤怒对

跟团队里的人都商量过觉得要把这个算法给开源就正是因为说现在 AI 界都是可能以男性力量为主导所以如果是女性用户或者是女性的开发者大家都要更勇敢地发声遇到相应的情况要及时地点举报或者说要表达自己的不满这个也是为什么我们想做这一期报道的原因这个

AI 换脸生成色情内容的这个过程里面是有首先第一有对女性非常大的侵害尤其是心理上的第二呢是说这中间其实是很多人是拿这种色情内容去做牟利的那这个东西有可能通过法律的手段去禁止吗或者说去反击吗

即使是像你們剛才講的這個律師認為說這整個取生過程非常困難那我們認為這個事應該要往另一方面發展大家希望說判例或者說立法應該怎麼做我當時就是聯想到一個

事情就是在 2020 年的时候我国出台了一部叫做强制报告制度的规定然后并且这个规定是被写进了未成年保护法然后他讲大概是一个什么样的事呢就因为其实现在对未成年的性侵害是非常的

隐秘的对甚至是可能就是连未成年的父母也因为各种各样的原因就包括比如说未成年他不知道什么叫做性资源他对强奸没有任何概念所以就其实就是能够被发现的就是未成年人性欺害事件是非常非常少的

所以就其实这个强制报告制度就是在这样一个背景下被提出的它就要求学校的教师以及像医院的医务工作人员一旦发现就比如说在就医过程当中发现怀孕的对象是一个未成年女性你就要向上报告

就即便是你不确定整一个事情的来源或者是由头你也要必须报告说明就其实这件事情已经变成了怎么说呢就是未成年身边所有能够发现这个事情的人的责任联想到 deepfake 事件当中的话我觉得就是在立法层面有个非常重要的点是在于就是能够形成每一个 deepfake 制作内容流通环节的一个强制报告制度

就比如说像现在的话我觉得就是可能像 Deepfake 它整一个就是生产到流通环节可能会牵涉到三个主体吧第一个主体是技术的提供商就包括像 AI 的这一些厂商第二个主体的话是传播的平台就比如说像 QQ 啊微信啊甚至是像 Telegram 这种平台第三个环节的话呢就是这一些传播的就是观看这些人然后就其实如果能够在 AI 技术的提供商和

传播平台上面你形成这样一个对 AI 就是 Deepfake 色情内容的一个报告制度的话我觉得其实能够在很大程度在源头上减少这一个就其实像在 2022 年的时候其实我国也出了一台就是有关于像就是 Deepfake 伪造合成的一个就是制度规定然后它其中其实也会写到说就是 Deepfake 这个技术的服务商或者是提供商他需要

对自己就是这个技术的使用方进行监察就比如说不允许向未成年人提供相应的技术服务然后一旦发现自己的技术被应用于就是不正当的这个途径的话他必须要对这个用户进行加以封号制止或者是向上报告我觉得这已经算是一个就是强制报告的一个雏形吧只不过现在的话它只是一条规定它并没有被写进法律

就如果我们是想说如果这个规定真正的写进法律它成为了所有的就是 AI 技术提供商的一个义务那么这样的事情会不会大概率的能够减少发生我觉得这个量刑方面是不是也会有一些大家值得去探讨的空间现在这种 AI 技术大发展的情况下以前老的这种

量刑的标准在今天还是一个合理的量刑标准吧就是由于像目前的就是整一个 Deep Fake 侵害事件他受害者身体上是没有遭受任何的伤害就包括像物理暴力这一些都没有如果我们用之前的这一些就是性侵害的法律或者是包括像强奸罪的法律判处这一些加害者的没法判了对 没有办法判只能说你是侵害对方名誉或者是诽谤侮辱

以及贩卖色情内容活力对吧传播并贩卖对所以像现在的就是整个量性标准是普遍偏低的 OK 那判的最重的是什么案子目前为止的话只有罚款因为其实我们国家对色情内容传播跟牟利判的还挺重的嘛是一个刑事罪名就有这样一起事件其实就发生在今年六月份的时候就有一个大厂的员工

利用这 DeFake 技术就合成自己身边的一些就是女同事和互联网上的一些照片已经被捕了但是还走公诉的程序所以我觉得就是这起案件的审判结果可能会

对整一个就是立法或者是未来的就是整一个制度都会起到一个风向标的作用但是像现在的话他因为还在走公诉阶段所以还不知道宣判的结果是什么好的这个就比较考验我们这个法律体系的智慧了对

但其实在就是台湾省的话它其实也有一个类似的就是事件但就是发生在去年年底吧当时这一个男性加害者他就被判处了五年的有期徒刑正式是要入狱的是吧是的其实我是觉得说就是当大家知道说犯罪有后果之后这个事才会

警醒起来不然的话就会像你们刚才讲的大家说这只是开开玩笑咯也没有什么后果那这个事就会发展下去因为这东西你说仅仅靠说道德上谴责这个谴责不太够啊是的但是我觉得还是取决于究竟怎么去量刑比如他究竟是用那个传播色情内容并牟利去定罪还是说他侵害名誉权去定如果

如果是侵害民意权他可能就是一个比较轻的罪对就是律师还会提到一个量刑的困境是在于说当我们发现就比如说自己的照片已经被合成传播了当你发现这有这一个现象的时候其实他仅仅是冰山一角你能发现三名传播者其实可能背后已经是有三十万名传播者在传播你的照片我们刚刚讲到追究责任这个事情那你得先找出来是谁干的吧

现在大家能找出来是谁干的吗有技术手段吗没有这么先进的手段能定位到谁的

这更多是要你自己做一些过程上的努力举个例子吧就是 23 年有一个挺有名的事情喜欢在网上冲浪的人应该能看到就是苏州大学有一个女孩她发现自己的照片每次发到朋友圈的照片都会被一个男性搬到一个高仿的账号上面拿来可能做一些色情的东西拿来牟利什么的后面这个女孩怎么抓到这个人的呢她就是用这个排除法

朋友圈所有的男性可能大概都看一下然后比如说十个人搞一组每天在发头一个照片但是每一组发的照片里面都有一个特殊的标记

他就看看今天发的图哪一张做标记的被搬到了那个账号上面就确定了这一组剩下的这个人在每一天可能换一张不同的标记就这样逐渐把它包出来 Yes 而且他还抓到的那个男生平时看起来就是挺老实的这次安好坊里面很多也是这样的情况就是女性靠自己的智慧破案破出来了

2.0 的这个 N 号房里面有一个女性她就是靠自己的努力去抓到了 Telegram 的里面到底是谁把自己的照片传过去了她是怎么抓到的一开始其实韩国政府跟警方都不受理这个案件对 肯定一想觉得很麻烦他们的推坛理由就是说这个 Telegram 的服务器是在海外的呀这个案例简直是一个福尔摩斯一样的案例是在八月份的时候出现那个案例就是人穿的两个女教师看到自己的照片在网上流传

他们就去警局报警警方就说这个需要推特的协助但是推特又是个外国的网站服务器又在海外嘛就是这种事情他们就不管然后这两个女老师就决定亲自的收集证据就比如说他们看到比如说照片背景被码得很随便所以就可能通过里面的黑板或者是客桌推测出这个拍摄的背景是在哪个教室他大概能看到又通过分析这个构图跟角度

去判断这个照片的座位是在哪里就是自己流传的那个照片可能是在课上被拍的嘛结果后面就锁定了比如说某个同学他就是嫌疑犯这次事件里面被爆出来的一些案例里面相当一部分是学生偷拍自己的老师偷拍自己的姐姐妹妹妈妈这个是这次事件特别令人伤心的地方吧姐姐妹妹妈妈他们会拿这些照片

去房间里面作为某种透明状可能你就偷拍这身边的女性可能更能跟里面的那些男性打成一片吧哇因为这次的房间比 Anthony 房 1.0 的房间分工更明确也就是说更成熟

房间里面会分成大大小小很多个不同的房间有专门的主题比如说妈妈妹妹姐姐就会有这种亲人羞辱房里面全都是可能羞辱比如说别人的妈妈姐姐妹妹或者自己的妈妈姐姐妹妹哇 无言以对所以其实女性是一种避无可避的状态吧无论你在家里无论你在学校工作的地方公共场所都可能被投拍

被换脸总不能说让大家不要在视频网上发这份吧对啊

我觉得有一个事情我是很好奇的就是我当时很疑惑说为什么韩国女性要跑到中国的社交网络上来呼救我们的理解是这样当时我跟韩国的收访者聊的时候他们提到说一开始这个事件热度很低像我们刚提到的 AI 生成的这些性剥削内容没有进入到警方的视野社会舆论也觉得这个也许是开玩笑

也不是真实的你定罪也不好定人也不好抓所以一开始其实包括媒体报道也是比较少的当时韩女就觉得这个事情非常值得关注而且如果你这段时间不发声这个热度就没有了然后第二点韩国又是一个特别注重面子的国家

一旦你可能外网有一些什么舆论冒起来了那韩国政府就会挺重视的所以他们想到说要去中国包括日本两个国家的社交媒体他们都发了然后推特上面他们也有专门的团队把所有的内容翻译成各种语言在推特上面传播在社交网络上进行反击的韩国女性她们的这个生活状态的能跟大家讲讲吗

基本上我聊到的在推特上面比较积极的女性都是大学生这个年龄段她们基本是看到现在有的新闻报道

感觉非常愤怒而且觉得自己一定要做一些什么因为如果这一代人我们不做点什么下一代人的成长环境就只能是那个样子他们基本是在一种非常压抑跟绝望的状态里面去斗争的为什么会用斗争这两个字比如我聊的两位受访者他们第一是感觉韩国政府不作为而且主流的舆论其实并没有站在女性的这一边

所以他们会认为说如果自己再不发声再不抗争这个热度就会没有就完全不会有人来关心他们所以他们才要可能联系国外的媒体第二个是韩国的艳女情节非常的严重比如他们一个最大的艳女的博主她的 YouTube 订阅大概是在 110 万左右你可以想想韩国只是一个 5000 万人口的国家五十分之一嗯

我觉得这个数字还是挺让人悲伤的吧然后我聊的这些比较积极运动的女权博主她们基本是完全不敢在推特上面露出自己任何的个人信息因为这次世界里面最大的那个推特账号叫 CAT

他的这个账号因为发生特别多而且关注的人是最多的这个人已经被艳女的海南放在各大的群聊里面说要人肉他如果人肉他可能就把他的背景资料家庭地址什么的可能会对他进行持续的网暴就是说他们是冒着巨大的个人风险来做日子反抗

对 而且我聊的这两个受访者我问他们你们身边有朋友跟你们做一样的事情吗他说基本没有就是朋友们可能都会比较害怕这种情况即使是他们暗地里有在做他们也不会

基本这些女孩在网络上就是把在推特上面一起发帖的人叫做战友他们内部有一种自发性的分工比如说我可能就负责发帖翻译英文比较好了去翻译然后也会有对受害者做

情绪跟心理支持的群体如果有受害者来匿名投稿说我遭受到了这样的侵害他们可能会把这个事情分配给各种各样的人比如说这个人他可能负责调查这个事情在哪个中学是不是真的然后另一个人可能会给他提供很多情绪上的帮助帮忙联系社工什么的聊到这一块的时候其实我们会觉得韩女们是真的还切实地推进了非常多的事情

如果没有他们这样的抗争之前的这些事件在这么

艳女的韩国社会是不会引起这么大的反响所以韩国政府现在有行动起来吗有啊就是在中国跟日本媒体的热度起来之后他们迅速的韩国警方就开始表态说我们一定会解决这个事情韩国的政府比如说两党就不一样的政党他们都跑出来说这个事情非常的严重我们以后一定会解决以此来赢得一些主流舆论的支持就是

就是说抗争是有用的而且我记得之前聊天的时候聊过一个就是我觉得挺搞笑的事情就是说我们其实聊了很多就是把就是换女性的脸的这个事情然后当大家去换这个给男性一件换脸 deep nude 的时候

是不是出现了一些很不一样的情况是的就由于这一个软件它的训练数据是一万张女性的裸体所以当你想用这个软件去脱掉男性的衣服的时候它不会给男性生成他们的那个生殖器而是说会在他们的裆部添加一个女性的私处

就是一个非常啼笑皆非的事情是不是还有人给男性这个一件脱衣之后呢报警之后是不是这个韩国的这个反应也很特别对其实当这件事情就已经发酵到这样的程度的时候其实也有特别多韩女打算用就是韩男类似的方式进行反击嘛就也是说我用 deepfake 来声称你们的这个裸照这样子

在互联网上传播那你们是不是也会很愤怒但是没有想到就是韩南立即出来跳脚报了警然后结果警方就立马出动就这个警方的反应速度甚至是很多韩女都没有想到的因为他们在受到侵害的时候警方其实是一个非常负面消极的态度

所以他们其实这样一种消极的情况会让他们想到去海外求助但是海南的境遇就完全不一样就是说在报警这件事情上然后这种权力结构的严重不对等也体现得非常临近之是的因为其实我们今天聊了很多这个事儿因为我们是一个可能我们这个节目偏商业和科技然后这件事情是一个新科技对社会形成的冲击

这是我们为什么聊这个问题但是我觉得其实往生理讨论其实它还是一个社会结构的问题或者说这个是一个男女性权利不平等的问题然后我记得跟丸子还有跟阿蔡之前在聊这个事的时候就会聊到说中间大家还是有一些比较悲观的情绪

就是这事很难解决啊但是我觉得女权或者说人类的任何权利都不是说一天内就能斗争到的一天内就能解决没有那么快的事情我相信这个事情也不会很快解决

但是比如说我们回看人类的历史比如说我们上期节目聊到了欧洲的工人的这个权力历史然后这次我们去看女性权力女性权力其实这些年有了很多的进步对吗虽然还没有那么进入人类但是就是因为大家不断的努力和斗争和抗争

她才会往前推进我觉得这次真的要为这个事件里的就是做出贡献的这些女性鼓掌无论是开源的女性技术人员还是说这些斗争的韩女

还是比如说我们提到的律师我觉得就是因为有大家的努力这个世界才会不断前进然后不要因为说这个事情特别难办然后推不动我们就觉得说这世界没救了一方面我们为这些抗争的女性鼓掌另一方面我们也希望通过我们这个小小的节目然后能够对这个世界有一定的小小的助力

因为其实我自己不是一个女性权利专家然后聊这个话题实话讲我觉得女权话题非常的容易引起争议所以就是其实还是挺忐忑的但是我跟丸子还有阿蔡其实我们是最近也是熬了很多夜对吧做采访还在出车差然后去讨论这个选题然后来聊这期节目也希望大家能够

怎么说呢多给予一些包容对希望就是如果有聊的不到位的地方希望大家多给予一些包容再评论友好讨论谢谢对也希望大家能够去做出你们自己的一份努力吧就包括其实我觉得如果我们有讨论的不太准确的地方我觉得大家也完全可以就非常 open 的指出

我觉得这就是可能做这篇稿子然后引发讨论的一个意义嘛就是因为我觉得就是依靠我们这篇稿子其实你说它真的能够立马推动制度的发展吗我觉得也达不到那个效果但是我觉得就是

帮他们把这一些声音传递出去我觉得也是很有意义的一件事情就包括其实我觉得还挺惊讶的就因为在之前做很多采访的过程当中你会觉得被采访对象拒绝是一个常态就真的很多采访都是靠采访对象的善意就是他愿意为你付出这么多时间他也不求回报然后就这么做下来了所以像就是丸子在推特上约访的时候其实我们

得到非常多女性很正面的回应就包括像我这边就是找律师或者找女性创业者的时候她们都非常非常愿意站出来说话所以就其实在做这个稿子的过程当中虽然整体情绪非常悲观就因为你能听到说特别多的困境是发生在结构上的你会觉得非常的无力就觉得说我一个人很难去推动这样一件事情的发展但是你又会觉得说这个稿子在做这篇稿子过程当中自己也收获了

特别特别多女性的力量就是真的女性太美好了对好像我基本发私信约的那个韩女的博主都很积极的很快的就回复了很多都是百忙之中挤出时间来跟我做采访因为基本他们现在的斗争状态是每天可能八到十小时都在刷推特发私信给受害者做支持每天八到十小时这是个全时工作时间吗

对而且他们自己还是学生或者暑假在兼职有一个受访者说我基本都没有时间或者想不起来要吃饭洗澡或睡觉每天就灌大杯大杯的咖啡因为很害怕错过受访者的每一条投稿他之前有发过一条推特说我今天错过了一条受访者的投稿非常的

伤心就感觉很内疚很多志愿做这件事情的女性都是抱着这样的心态去做事的这个我觉得也给我特别大的启发吧因为其实韩女在这么压抑的社会环境里面都能用血和汗扑救她们抗争争取权益的道路我觉得这个精神还是很值得所有的女性参考的而且我觉得我们三人入课还是一个特别跟

创业技术相关的这些前沿动态相关的媒体我们也希望说听到这期节目的包括创业者也好或者是技术开发者也好能够在日常工作里面

把女性权益或者是把对女性用户友好这件事情可以考虑多一点对甚至是可能再补充一下就如果是从商业的事情再去看这个事的话真的觉得说整一个行业要给女性从业者以及包括像女性友好的一些产品给予更多的时间就当时就是那个女性从业者会跟我说他们如果想真正做出一个女性友好的产品首先他在训练数据上他要剔除这一

黄色色情的数据但是这些剔除的数据你就要花额外的金钱和成本再去找其他的源头去补这个对他们来说花费是特别大的尤其是像初创企业他自己钱也不够人力也不够他还要花时间去做这些清晰

所以她当时就会跟我说如果真的想做一款女性友好产品的话她整一个产品的迭代速度会慢两个月对两个月的话其实相当于是说同行都在往前赶但你还在做这样一件事所以就其实像整一个赛的话也真的是希望能够给这样一些女性就是友好产品更多一些时间对比如说像 OpenAI 他们当时在去做

他们的产品的时候做 HCPT 的时候其实做了很多调整去调整应该基于对人类不良表达方式的修正对吧这个东西是个意识问题吧就是技术公司是可以做到的上一代技术浪潮里面张艺明非常有名的一句话叫算法没有价值观对吗但是技术人员有自己的价值观会说技术公司是有自己的价值观的

所以雖然互聯網經常講避風港原則就是說用戶幹的事也不能賴我們科技公司

某种程度上是对的但是当技术公司科技公司可以用自己的力量去让世界变得更美好的时候不应该回避这个责任不应该说我们没有价值观是就跟那位女性同学者她提出这个疑问就非常相似就说假设是有一个女性团队来开发 deepfake 这个技术事情真的会像现在一样失控吗我觉得很有可能不会

好的其实我们已经聊到非常晚了然后呢我觉得就整体还是挺感动的吧需要为很多这个事件里的旅行鼓掌为这个事件里的参与者鼓掌好的那也欢迎大家在我们的评论区理性友好建设性的进行讨论也谢谢大家的包容

我们就聊到这里谢谢丸子谢谢大菜谢谢大家谢谢大家我们下次再见拜拜拜拜关于这期节目大家有什么想法呢都可以在各大平台给我们留言如果你喜欢本期节目也欢迎你点赞关注转发赞赏也欢迎大家关注我们的公众号声动活泼声是声音的声感谢大家的收听我们下期节目再见