S8E03 | 后 Sora 时代的深度伪造 「AI换脸术」怎么防？
38:01 Share

用 声音。

碰撞 世界。

生动活泼。 欢迎来到 我是 next 科技 早知道 第八 季， 和 全球 创新 第一 时间同步。 Hello, 大家好， 感谢 大家 在 上期 的 单口 节目 里面 给 我的 一些 留言， 我也 非常 的 被 我们 听众 的 专业 程度 给 惊讶 到了。 很多 朋友 帮 我 指出 了 一些 节目 里 说 的 不太 对的 地方， 帮 我 捉 了 很多 虫， 感谢 大家。 我在这里 提 两个， 其中 就是 一个 朋友 叫做 L B E P， 然后 他说 这个 RNN1般 翻译成 循环 神经网络 比较 好是 recurrent 的 意思， 并 不是我 节目 之前 说 的 这个 recs ve 的 这个 神经网络。 我在 节目 里 说 的 这个 递归 神经网络 一般 不 简写 叫 RNN。 所以 大家 记住 了， 这个 是 循环 神经网络 叫 R N N。

然后 另外 有一点 是 我们 一位 老 听众 stac 帮 我 捉 出来 的 虫。 就是说 其实 预测 蛋白质 和 这个 预测 R N A 还是 不能 相比 的， 蛋白质 还是 要 难 很多。 然后 又有 另外 一位 听众 朋友 叫做 poppy 跳出 来说， 其实 这 R N A 或者 是 蛋白 他们 预测 各有 各 的 难处， 有 各有 各 的这 样子 可以 取巧 的 地方。 如果 大家 对 这个 话题 感兴趣 的话， 我们 到时候 也会 不管 是 请 这位 两位 朋友啊， 还是 请 这个 行业 里面 的 专家， 然后 我们 一起来 持续的 讨论 这个 话题。 之前 我们 也有 非常 多 的 嘉宾， 其实 就是 来自于 我们的 听众。 如果 大家 有什么 感兴趣 的 话题， 如果 想要 来 我们的 节目 做 嘉宾 的话， 然后 随时 来 跟 我们 联系。

今天 这 一个 节目 的话 是 和 这个 深度 伪造 deep fake 相关。 自从 去年 我 做 完 那 期 A I 黑暗面 的 节目 之后， 我 觉得 怎么 都 还得 有 一两年 的 时间， 可能 才 会有 这个 视频 方向 的 这种 实时 的 深度 伪造 技术 出现。 但是 很快 就 打脸 了。

今年年初 我们 看到 了 sora 非常 的 惊艳。 不管 是在 它 一致性 上面， 还是 在 它的 这个 清晰 程度 上面， 真的 是 以假乱真， 人 真的 是 看不出来 了。 特别是在 前两天， 其实 又有 一个 新的 google 发出 了 一个 模型， 叫做 blogger 博客 的 那个 叫 blog 的 blog。 然后 他 能 通过 单张 的 图片 就能 生成 10秒的 这样的 一个 视频。 就 等于 说 是你 传 一张 你 自己的 照片， 他 就会 就 根据 他 自己 已经 训练 好的 一些 内容， 然后 可以 让 你的眼睛、 嘴巴， 还有 手部 的 这些 动作， 都 能够 根据 你 在 讲 的 内容， 然后 做 一些 动作 出来。

虽然 这个 demo 看起来 还有 那么 一点点 的 假， 但是 现在 的 A I 训练 速度 真是太 快了。 我们 真的 是 不知道 什么时候 我们 人眼 就 分辨 不 出来 了。 所以 看完 这些 新闻 之后， 我 又 把 自己 在 社交 媒体 上面 的 很多 照片， 特别是 我们家 宝宝 的 照片， 我 就 全 给他 删掉 了。 在这里 我 其实 就 又 产生 了 一个 好奇心， 我们 普通人 除了 删 自己的 照片 之外， 怎么样 能够 保护自己 呢？ 或者 是 现在 的 平台 有没有 在 做 这样的 工作， 有 哪些 技术 能够 帮助 我们 减少 这样的 一些 风险。

所以 我 就 找到了 defect 领域， 在 深度 伪造 领域 一直 在 做 对抗 的 一个 专家。 他是 zoo s 的 技术负责人 姚伟 斌。 我 其实 想 跟 他 聊 一 聊， 我们 普通人 能够 怎么样 来 降低 自己的 风险。 特别是在 sora of blogger 这 样子 的 产品 出来 之后， 他们是 怎么样 去 设计 新的 产品 的？ 他们 现在 的 客户 面对 的 一些 困难 又是 什么 样子 的？ Hello, 伟 斌。

各位 听众 大家好， 我 叫 廖伟 斌， 我是 在 蚂蚁， 然后 花名 文锦。 我 一直 是在 从事 蚂蚁 安全 科技 相关 的 一些 研发 工作。

文景 能 帮 我们 大概 介绍 一下， 你 是从 什么 时间 开始， 进入 蚂蚁 做 zo s 这个 产品 的。 然后 zo s 大概 也 帮 我们 简单 介绍 一下 他们 现在 的 一些 产品。

罗老师 它是 一个 面向 海外 的 这样的 一个 安全 科技 的 品牌。 老师 大家 如果 从 英文 的 这个 单词 上， 我们 也可以 看到， 它 其实 是 很 像 一张 人脸， 包括 两个 眼睛、 一张 鼻子， 很 像 一个 A 一对。

我 刚才 想 问 这个 名字 是 怎么 来， 它 还很 对称 对 吧？

对， 有点像 左 老师 的 面具。

明白 了。 在 这个 A I G C 的 这个 技术 出现 之后， 现在 的 defect 深度 伪造 的 这些 攻击 科 前 两年 相比 的话， 从 你 专业人士 的 角度 来看， 在 不管 是 攻击 的 规模 的 数量 上， 或者 是 这个 领域 上面 有没有 什么 特别 大 的 变化。

我们 今天 在 谈 AIGC， 今天 再 谈 deep fake， 还是 挺 大 的 一个 差异 的 一个点。 从 去年 开始， 整个 线上 deep fake 的 这个 攻击 的 案例 的 case， 已经 是 成 指数 级 的 上升 了。 包括 我们在 东南亚 的 部分 国家， 我们 发现 攻击 的 这个 case 占 比 已经超过 了 5%， 从 原来的 可能 0%点 几 这么 一个 比例， 一年 的 这样 一个 时间 就 突然 已经 是 指数 级 的 一个 上升。 大家 要 知道 deep fake 这 一块， 其实 你是 卡通 的， 这个 其实 没有 什么 危害性， 大家 都 知道 这个 是 假的， 所以说 今天 我们 其实 还 更多 的 focus 在 人脸 的 to fix。 所以说 其实 未来 我们 也 想 去 看一下， 比如说 在 继续 通信 R T C 的 这个 领域， 我们 能不能 去 帮 他们 去做 一些 检测， 能不能 去 解决 他们的 一些 问题。 因为 未来 可能 就 不是 一个 缅甸 了， 他 可能 就是 一台 机器， 它 就可以 变成 一个 诈骗 的 这样的 一个 团伙。 这个 其实 是一个 我 觉得 是 未来 是 很有可能 产生 的 一个 情况。

就是 这个 脸 然后 加上 整个 一个 大 模型， 给他 设计 一个 甚至 可能 用 去 character A I 就能 做 一个 跟 你 一直 聊 下去 的 这样的 一个 机器人。

对， 包括 视频， 包括 语音， 它 不是一个人， 他 可能 是 100个人， 他 可以 虚拟人， 反正 他们 都有 剧本 的对 吧？ 杀猪 盘 把 你的 这个 钱 都都 转 走。 我 觉得 所以说 在 即时通讯 领域， 我 觉得 是一个 挺 有 威胁 的 一个地方。

可能 原来 一个 真人 每天 只能 跟 三五个 人 聊， 然后 现在 他 可能 能 跟 几十 上百 个人 聊。

对， 从 技术 层面 上， 它是 一个 完全 可行 的 这样的 一个 路径。 还有 一些 场景， 比如说 是 虚假 的 一些 新闻， 其实 我们 也 碰到 一些 真实的 一些 case。 比如说 某些 政府 他 就 特别 担心 今天 这个 新闻 到底 是真的 还是 假的， 这个 其实 也是 我们 未来 想 去做 一个 检测 的 一个 事情。

对， 今年 是 大选年， 大概 有 四十多个 国家 今年 都有 这个 选举， 确实 是 很大 的 一个 应用 场景。

所以说 我 觉得 在 即时通信， 在 一些 媒体， 我 觉得 这些 可能 都是 未来 可以 去 提升 整个 安全 水位 的 这样的 一个地方。

我 去年 做 那 期 节目 的 时候， 嘉宾 他 其实 是在 某 一个 大厂。 当然 我们 把 他的 这个 名字 隐去 了 哈那 其实 是在 讲， 因为 大厂 现在 还是 在 抢地盘 的 这个 阶段， 所以 他们 其实 不会 在 安全性 上面 做 更多 的 考虑， 只能 这么说。 所以 可能 是在 等 今年 sara 出来 之后， 然后 会不会 又 一波 可能 从 5% 的这 样子 的 一个 诈骗 率 变成 了 可能 百分之 是不是 这个 也是 有可能 的， 我们 能够 期待 的， 怎么样 能够 在 这个 消费者 端 去做 一些 最 基础 的 一些 教育。

就 个人 怎么 去做 一些 保护。 第一个 层面 上 还是 要 注意 一些 个人 的 一些 数据 的 一些 保护。 照片， 包括 你的声音。

我的声音 应该。

是 没戏 了。

我是 最近 删了 一波 我自己 的 这个 视频， 以前 我 还 晒 个 娃 啥， 我 现在 娃 都 全都 删掉 了。

对对对， 可能 就 不一定 是 纯粹 的 语音 或者说 图像 的 信息。 其实 就 个人 的 家庭 那些 信息， 其实 比较 怕 的 是 今天 如果 犯罪分子 了解 你 所有的 个人 的 信息 的 情况 下面， 他 其实 是 可以 编 很多 故事 的。

他 可以 帮你 建 一个 个人信息 的 建模。

对 你的 所有的 个人 特征 都 知道 的 情况 下面， 他 可以 欺骗 你的 家。 这 其实 是一个 需要 去 防范 的 这个 点。 第二个 点 就是 我们 也 确实 是 可以 利用 所谓 的 two F A 或者 是 多因子 的 这些 认证。

帮 我们 讲 一下 two F A 是什么？

Q F A 就是 双 因子 认证。 True factor of decade 在 银行 其实 比较 多， 就是 我们 当 一旦 碰到 高风险 的 一些 行为 的 时候， 我们 需要 加强 安全 认证。 比如说 在 登录 的 时候， 支付 转账 的 时 之后 换 一个 手机 的 时候， 这个 时候 它 其实 是 要求 多因子 认证 的。 比如说 需要你 刷脸， 需要你 输入 密码， 甚至 需要你 短信 的 这个 验证码。 就 这个 时候 其实 你 要 去做 这么 多 的这 攻击 伪造， 其实 还是 有 难度 的对， 甚至 比如说 我们 可以 再加 个 指纹， 再加 个 掌纹， 我 觉得 这个 其实 都是 可以 去 尝试 的那 这个 时候 就 它 整个 攻击 的 成本 就 变 高了。

最近 其实 也有 一个 技术， 就是 手机 上 的这 key 的 技术， 我 觉得 这个 可能 是 未来 会 快速 流行。 就是 他 把 他的 整个 生物 的 信息 都 存在 了 手机 里面， 包括 你的 指纹， 包括 你的 人脸 的 生物 信息， 它 可以 存在 里面。 如果你 要 去做 一些 认证 的 一些 行为 的 时候， 手机 可以 去 拍 一下 这个 二维码 这个 认证。 那 这个 时候 你的 整个 生物 信息 其实 是 没有 脱离 你的 这个 设备 的， 当然 我们 必须 要 相信 设备， 这个 我 觉得 确实 也是 一个 取舍 的 一个 问题。 这个 设备 厂商 如果 出现了 一些 安全性 的 隐患， 那 确实 也是 有 一定 问题 的那 其实。

就是说 我们 就得 相信 这个 设备， 要 相信 设备 背后 的 厂商， 他们 这 样子 的 一个 技术 的 能力， 我 觉得 这个 还是 挺 难 的。 就 前段时间 苹果 警告 了 92个 国家和地区 的 部分 iphone 的 用户， 他们的 账户 正在 被 间谍 软件 攻击。 其实 这个 也 还是 令人 蛮 担心 的。

我 觉得 未来 在 完全 数字化 的 这个 阶段， 我们 到底 是 相信 国家， 还是 相信 某些 大 的 平台， 还是 相信 某 一个 组织， 如果你 今天 什么 都 不信 的 这个 状态， 可能 你 在 上面 确实 是 很难 生存 的对， 很难 生存。 但是 我 觉得 这 里面 有一个 关键 的 一个点， 就是 所有的 诈骗 还是会 涉及到 经济利益 这 一块 的。 比如说 有人 跟 你说 要 借钱， 或者说 跟 你 要 去 转账 的 时候， 我 觉得 这个 时候 你 一定要 警觉。 尤其是 比如说 对方 在 跟 你 打电话、 语音 聊天， 或者 在 视频会议 的 时候。 那 这个 时候 我 觉得 是 可以 去做 一些 多因子 的 认证 的 这样的 一种 方式。 比如说 你 跟 他说 一下 只有 你们 知道 的 一些 事情， 比如说 说 一些 方言。 这个 时候 其实 你 自己 是要 有一个 第二层 的 这样的 一个 意志 是要 启动 了。

你 跟 你的 这个 家人 可以 去 设定 一些 安全 的 口令。 你 就 跟 他说 一旦 出现 金融 的 一些 事情， 我们 必须 需要 做 一些 这样的 一些 口令， 我 才能 认为 你是 真的。 这些 地方 上 可能 都是 作为 个人 的 消费者， 作为 一个 个人 来说 去 保护自己 的。

就是 日常 风险 的 防范。 比如 像是 有 一些 这种 黑天鹅 事件， 像 去年 因为 加息， 然后 导致 的 硅谷 银行 的 倒闭。 很多 创业 公司 他 所有的 账户就 在 一个 银行 里面， 或者 就 只是 一个 账户。 那你 就 没有 办法 来 抵抗 这样的 风险。 可能 对于 个人 来 说话 也是 一样的， 你 不要 把 钱 都 放在 一个 账户 里面， 或者 不要 鸡蛋 都 放在 一个 篮子 里面。 这么 简单 的 说， 其实 就是 最简单 的 最 有效 的 方式。 你 被 这个 账户， 即使 是 他 被 突破 了， 被 诈骗 了， 那你 还有 其他 的 钱 能够 防范 风险。

是的， 就是 做 风险 的 分散 多 备份。

是的。 所以 您 刚刚 讲到， 其实 可能 未来 是 这种 可能 本地 的 有一个 硬件 的 这种 设备， 用来 承载 生物 的 活体 的 信息， 或者 是 一些 验证 的 手段， 或者 是 我们 那个 T I A 的这 样子 一个 密码， 其实 是 可能 未来 的 发展方向。

对， 因为 这个 其实 也是 现在 逐步 在 成为 一个 标准， 欧洲 的 他们 那边 也 在 做 一些 规范 的 一些 制定。 未来 可能 就是 你的 某 一个 设备 就是 一个 E I D， 就是 所谓 的 这个 电子 的 I D， 能够 变成 你 国外 的 一个 身份 的 一个 认证。 它 可以 去 坐 公交车， 他 可以 去 领 一些 政府 的 提供 的 一些 服务， 这个 可能 是 未来 的 这样的 一个 趋势。

我 觉得 现在 我自己 昨天 想 了 一下， 也是 我的 所有的 网上 的 这些 密码 全都 存在 我的 这个 google chrome 的 浏览器 里面。 然后 其他 的 在 手机 里面 的 应用 全都 是 这个 是 脸部 识别， 都在 手机 里面。 如果 这 两个 被 突破 了 或者 被 攻击 了 的话， 我 觉得 我 可能 个人 的 信息 和 资产 大部分 就 完蛋了。 还是 挺 可怕。 因为你 觉得 还是 很 容易， 你 不想 记 这些 密码， 然后 也 老 想不起来， 老 要 去去 重新 再 设定， 真的 是 很难 管理。 几十 上 百个 这样 不同 的 密码， 这个 还是 方便 很多。

有了 这样的 技术， 是是是， 尤其是 最近 这个 密码， 过 一段时间 还要 改 一下。 我 反正 是 经常 会 碰到 这 密码 忘记， 然后 经常 要 找回， 然后 发现 确实 就是 需要 有 一些 技术 或者 手段， 能够 方便 一点。 我 觉得 这 里面 可能 也是 需要 分级 的， 比如说 针对 于 大额 的 资产 存放 在 里面。 你 就 拼 了 任何 的 工具 或者说 任何 的 平台， 你 就 信了 你 自己。

对， 像 加密 货币 一般 都会 用 让 你 用 这个 3t cator 作为 第二步 或 第三步。 因为 太 容易 被盗 了， 然后 也是 不可 逆转 的， 不能 回来的。 对我 刚才 想 这 可能 现在 AIGC 这么 猖獗， 随便 就能 把 你的脸 捏 出来， 通过 一张照片 就 OK， 那 是不是 可能 在 后面。

比如 像是 对于 银行 来说， 我们 就 用 其他 的 这样的 一些 信息。 比如说 是 也 像 最近 亚马逊 他 有 个 新的 产品 叫做 amazon one， 但 也 不是 很 新。 但是 他 把 这个 产品 重新 打包 了 一下， 然后 变成 了 一个 新的 一个 名字。 然后 他 就是 在 他的 这个 商店 里面 的 签下 的 后 付 里面， 或者 很多 商店 里面 可以 直接 扫 一下 手纹， 然后 你 就能 直接 支付 了。 因为 手纹 这个 东西 你 也很 难 去 在 你的 社交 媒体 上面 去 展示， 也很 难 被 伪造。 那 会不会 是 这 样子 的？ 一些 其他 的 脸 之外 的 一些 这种 可能 加密 的 这种 方法 也会 比较 方便 一些。

生物识别 其实 有 很多 的 这个 方式， 包括 我们 用 的 多 的， 比如说 人脸 跟 指纹。 其实 a amazon go 的 那个 是 掌纹， 我们 以前 还 听说过 叫 虹膜 的 识别， 你 眼睛 的 这个 虹膜 还有 声纹。 但 确实 我们我们 也 发现 便捷 度 跟 成本、 跟 性能 接受度 其实 是 会有 衰退 的 一些 问题 的。 比如说 掌纹 的 一个 识别 的 一个 设备， 它 可能 需要 1万块钱。 这个 时候 其实 你 就 发现 它 就 很难 流行。

今天 你 发现 我们 很多 的这 生物识别 的 方案， 其实 是 集中 在 手机 这个 层面 上。 包括 我们 今天 所谓 的 人脸、 指纹， 可能 掌纹 也可以。 他 如果 是用 摄像头 的 方案 的话， 我们 今天 如果 信任 这个 设备 的话， 那 我们 今天 就可以 利用 这个 设备 去 进行 纯 local 化 的 存储 验证 签名。

我 觉得 这个 可能 是 未来 的 一个 趋势。 因为 这个 其实 是 比较 好的 能够 个人信息 被 中心化 的 管理 起来。 因为 你的 掌纹 其实 也有 可能 被 泄露， 泄露 以后 可能 伪造 手段 还 更 多一点。 因为 检测 手段 比较 少， 大家 其实 用 的 比较 少。 当然 多因子 我 觉得 还是 有 必要 的， 包括 密码 或者 是 验证码 邮件 还是 有 必要 的， 尤其是 在 高额 的 一些 涉及 金融 相关 的 一些 地方。 但是 我 觉得 一般 的 个人 的 一些 生物 信息 跟 你的 设备 会 绑 在一起， 我 觉得 可能 会 更加 容易 一点。

所以 可能 说 回来 就 到 最后 我们 还是 刚刚 讲 的 保护自己， 就是 尽量少 往 网上 传 照片， 然后 在 网上 足迹 要 少一点。 另外 就是 怎么样 能够 可能 通过 最 普通 同 的 方法 来 分散 风险， 或者 跟 家人 做 一种 像是 密码 性 的 这种 可能 口令 性 的 这样的 一些 约定。 然后 从 最 基础 的 角度 来 去做 一些 这种 对 个体 来说 的 这些 防范。 那 可能 更大 的 这个 责任 就 落到 了 像 volos 这样的 企业 里面 了。 然后 怎么样 能够 快速 的 去 识别 这些 AIGC 的 内容， 然后 怎么样 去 防范 很 快速 的 能够 甄别 出 这些 黑 产的 不法分子。

对我 觉得 两点， 第一点 是 今天 整个 针对 于 AIGC 的 可信 认证 的 这个 事情。 今天 不是 一家 企业 的 事情， 也 不是 一家 企业 的 这个 问题。 我 觉得 有点像 互联网 早期 的 这样的 一个 阶段。 今天 是 属于 蓬勃发展 的， 它 有 很多 好的 这 地方， 但是 今天 其实 是 需要 有 一些 规范 出来 的。 包括 我们 其实 也是 希望 我们 跟 协会 也好， 跟 一些 政府部门， 我们 其实 是 希望 去 制定 一些 法律 及 规范 的 这个 问题。 所以说 从 长期 来看， 未来 会 像 类似 于 H T T P S 的 这样的 一个 网站 一样的。

有一个 C A 或者 是 有 很多 C A 的 一些 机构。 针对 于 比如说 这个 是 摄像头 产生 的 内容， 这个 是 AIGC 工具 产生 的， 或者 是 那些 是 我们 自己 个人 产生 的， 就是 它是 需要 有一个 签名 的 机制。 那 这样的话， 我们我们 首先 我们 可以 信任 那些 机构， 这是 必须 要 有的。 然后 我们 再去 信任 他们 签发 的 这个 资产。 针对 于 浏览器 或者 手机 厂商， 他 应该 去 检验 每一个 资源。 那 这个 资源 到底 是 真 还是 假， 应该 我们是 要 去 默认， 是要 去 验证 他的 这个 签名 的， 如果 他 没有 任何 签名， 那 我们 就 认为 他是 一个 假的。

就 从 这个 内容 生产 端， 首先 可能 我们 要 更多 水印， 然后 大家 需要 有一个 行业 的 这样的 一个 标准， 或者 是一个 这样的 联盟。 然后 可能 从 中间 的 这种， 我们 姑且 把 它 叫做 浏览器 或者 中间商 这个 段。 然后 也是 需要 有 一些 它的 认证， 或者 能够 识别 签名 的这 样子 一个 角色 在 里面。 就像 刚 我们 讲 的 其实 是 比如 像是 A T H T T P 或者 是 T T P S。 然后 后面 可能 不是 H T T P S 的 时候， 然后 整个 浏览器 它 就 不会 带你去 这个 网页， 就 认证 它 已经 是 可能 会 存在 一些 frog 或者 存在 一些 scheme 的 这样的 一些 网站。 所以 可能 未来 在 活体 识别 或者 在 真的 伪造 这 一块， 其实 是 可以 做 这样的 一些 事情 的。

很多 时候 安全 是 不痛 就 不会 变化 的 这样的 一个 状态。 就 回顾 一下 整个 H T T P S 的 这样的 一个 眼睛 的 路线， 就是 以前 就是 H T T P 我们 也 用 的 挺好的， 对 吧？ 但 后面 我们 就 发现 这个 变成 了 H T T P S。 我 觉得 chone 其实 做了 一个 很 好的 一个 事情， 就是 强制 你 你 没有 就 直接 就 你 很 麻烦， 你 要点 这个 允许， 我 觉得 其实 是一个 很 关键 的 这样的 一个 步。 所以 其实 我们 现在 也是 在 跟 政府组织， 包括 我们 也 在 跟 新加坡 的 这个 I M D A 政府部门， 其实 是 希望 制定 一些 面向 于 海外， 面向 于 国际 的 这样的 一些 法律法规。

第二个， 针对 于 对抗 的 这个 事情， 确实 是 需要 各个 厂商 还是 要 重视 起来。 这个 金融机构 也好， 还是 电商。 今天 我们 要 知道 AIGC 的 发展 它是 呈 指数 级 的。 今天 是 5%， 明天 不是 10% 的 问题， 可能 是 50%， 那 今天 我们 还是 要 认真 去 应对 这些 问题， 否则 我 觉得 电信 欺诈 这个 行业 很有可能 会 跟 这 里面 会 进行 深度 的 结合。

因为 在 加密 学 史 上， 其实 总是 要不是 道高一尺， 就是 魔高一丈。 所以 现在 我们 能 说什么？ 现在 是 潜在 的 魔高一丈 的这 样子 的 一个 时间 节点 吗？

安全 对抗 它 其实 是 很多 时候 就 你 刚才 说 了， 它是 一个 越来越高， 然后 他 其实 需要 相应 的 成本 的 这样的 一个 阶段。 所以说 我 觉得 就是 针对 于 投入 层面 上 来说， 确实 大 的 平台 它是 有 一定 优势 的。 另外一个 的话， 在 电信 欺诈 也好， 针对 于 有 组织 犯罪 的 这样的 一个 层面 上 来说， 确实 他 今天 对于 普通人 来说， 他的 威胁性 确实 是 比较 大。 比如说 在 金融 领域， 针对 于 AIGC 的 这个 内容 的 本身。 现在 来看， 尤其 在 刚才 说 了 索拉 也好， 欧盟 这块 我 觉得 现在 风险 还好， 更多 的 还是 偏 比较 线下 的 一些 模型， 这 一块 会 威胁 更大 一点。

开源 的 模型 可能 现在 不太好 控制 他们， 但 他 现在 可能 还没有 到 真的 这样的 一个 水平。 所以 如果我们 肉眼 能够 看出来 的话， 可能 机器 也能 很 容易 的 看出来 我 碰到 的 case.

就 人眼 已经 不一定 能够 看得出来， 确实 魔法 打败 魔法 的 这样的 一个 阶段。 我们 也 在 看 一些 这个 团伙 的 一些 识别 的 能力， 攻击 的 一些 特征。 比如说 有 那些 地域 的， 有没有 一些 他的 使用 的 工具， 原 信息 的 一些 特征。 犯罪分子 的 人脸 其实 是 比较 有限 的。 针对 于 犯罪分子， 我们 也会 去 看 他的 一些 黑名单， 避免 重复 攻击 的 这样的 一些 事情， 这个 我们 都是 可以 去做 的。

咱们 的 这个 客户 其实 现在 还是 以 东南亚 国家 居多， 是 吧？ 所以 他们的 这些 诈骗 的 这种 骗术， 或者 他们的 这个 技术， 现在 跟 我们 国内 相比 是一个 什么样 的 一个 阶段 呢？

整个 东南亚 这 一块 的话， 它 有点像 5到10年 前 的 中国吧， 数字化 转型 这个 阶段 还没有 完成。 中美 它 其实 已经进入 了 所谓 的 智能化 的 这样的 一个 阶段。 我们 出海 中国 出海 其实 还是 有 一定 的 大家 整个 的 这个 打法 也好， 就 我们 面临 的 这个 行业 其实 都很 像。

其实 攻击 的话， 它 主要是 看 成本， 对 吧？ 以前 我们 可能 这个 攻击 的 成本 很高。 你 做 一次 攻击 可能 是 需要 几百块 钱， 甚至 上千 块钱 的 这样的 一个 状态。 但是 今天 你 一次 攻击 的 这个 成本 可能 只要 几块钱， 甚至 几毛钱 的 时候。 好的 地方 是 我们 今天 是 可以 做 很多 其他 的 一些， 包括 影视， 对 吧？ 包括 一些 其他 的 行业。 但是 对 创作者。

来说 好像 是 更加 省 事儿 了。 但是 对 这个 黑 产 人士 来说， 他们 也 更加 省事。

他们 也 提 效 了。 对对对， 所以 整个 黑 产 这个 行业 也是 在 数字化 转型， 也 在 做 全球化 的 这样的 一个 布局。 所以说 今天 其实 我们 面临 的 是 这样的 一个 场景。

你 刚刚 讲 的 其实 他们的 这个 攻击 也 提 效 了， 就 比如说 现在 的 攻击 分为 哪几种 形式， 然后 他们 从 哪些方面 提高 了 他们的 效率 呢？

首先 是 这样的， 就是 我们 今天 要 了解 整个 的 图像 跟 视频 产生 的 这样的 一个 链路。 比如说 我们 这边 的 这个 场景 是一个 线上 开户 注册 的 这样的 一个 场景， 这 里面 会有 几个 路径， 第一个 比如说 是 这个 pi 然后 第二个 是 我们 去 进行 一些 活体 的 一些 检测。 然后 第三步 是 我们 今天 去做 一个 人脸 跟 你的 证件 的 一个 比对。 比如说 针对 黑 产 来说， 它 可以在 每一步 里面 去 进行 hack， 包括 比如说 采集 的 时候， 它 可以 去 针对 于 你的 摄像头， 或者 是 针对 你的 系统， 去 进行 一些 注入 的 一些 攻击。

我们 能不能 请 您 帮 讲 一下 注入 这块， 可能 我们 很多 听众 不太 清楚 这个 术语 是什么。

输入 的话 是 这样的， 就是 今天 它 可以 不 依赖于 你的 这个 摄像头， 就可以 直接 把 它 已经 预先 生成 好的 一些 AIGC 的 一些 视频 或者 图片 传到 系统 里面。 能 让 你的 这个 A P P 直接 接收 到 它， 预先 生成 好的 内容 被 传送 到了 我们 这个 服务端。 就 有点像 这个 直接 就 劫持， 或者说 直接 就 拦截 了 你的 接入 的 这样的 一个 路径。 它 其实 是 需要 去 hack 它的 这个 系统 的 权限， 它 才能 去 进行 一次 成功 的 这样 一次 注入。 所以 其实 就是 第一步 的话， 普遍 的 还是 注入。

然后 第二步， 甚至 可以 做 一些 动态 的 一些 变化。 其实 传统 的 我们 所谓 的 人脸 的 活体 检测， 需要 张 张嘴， 什么 眨眼， 对换 个头 那 其实 作为 他 犯罪分子， 他们 也会 去 这样 突破 你的 这个 活体。 然后 第三步， 比如说 是啊 人脸 比对， 当前 的这 张 人脸 跟 你 我们 还会 去 拍 他的 这个 证件 里面 是否 一致。 这个 时候 他 要 针对 于 他的 证件 去 进行 整个 A R G C 的 这样的 一个 伪造， 所以说 核心 其实 就是 怎么 去 防 系统 的 注入， 以及 怎么能够 去 识别 检测。 针对 于 图像 以及 视频 里面 的 这样的 一个 我们 叫 呈现 攻击， 它的 这样的 一个 伪造 的 这样的 一个 视频。

所以 现在 我们 看到 的 这些 诈骗， 其实 他们 从 I G C 然后 进入 注入式， 这样 攻击 是 比较 多 的， 是吗？

对， 首先 我 觉得 我们 要 理解 黑 产 攻击 的 动机 是 在哪里， 如果 没有 利益 的 事情 他 去 伪造， 他 其实 也没有 收益。 金融、 电信 这 几个 行业 其实 是 利益 诉求 其实 是 直接 相关 的。 举 个 例子， 就是 今年 2月份， 香港 有 一家 公司 就是 被骗了 两个 亿， 当时 的 这个 场景 其实 是 这家 公司 的 财务 被 拉 到了 一个 视频会议 里面。 然后 视频会议 里面 所有的 这个 人都 是 假的， 视频会议 内容 其实 是 总部 的 一个 C F O， 告诉他 你 要把 钱 转到 某某 一个 账号 里面。

就 不仅仅是 一个人。 这个 会议 里面 是 好几个 人都 是 假的。

这个 就是 比较 定点 的 这样的 一个 攻击 的 一个 case 了。 我 甚至 他 可以 动用 很多 计算资源， 他 去做 这样的 一个 伪造。 而且 他 要 知道 你们 公司 的 这个 人是谁， 然后 你 每张 人脸 是什么 样子， 然后 他的 一些 个人信息 是什么 样子， 然后 去 模拟 这样 一个 场景 来去 攻击 他。 这个 其实 一本万利 的 一个 事情。

我可以 再举 个 例子， 其实 各个 国家 都 发现 电信 的 这个 诈骗 是 非常 普遍 的 一个 事情。 但是 其实 就是 一方面 是 数字化 转型， 另一方面 其实 scan 的 这个 水涨船高 的 这样的 一个 状态。 所以说， 比如说 部分 国家 就 希望 做 手机 的 实名制， 需要 知道 你 这个人 就是你 自己 在 用， 而 不是 开 了 很多 这种 卡 养 在那 里面， 然后 来做 一些 欺诈 的 一些 事情。 前年 我们 有 一家 运营商 的 一些 一个 客户， 就 希望 用 我们 这种 方式 去 帮 他们 去做 所有人， 包括 原来 已经 开户 的 这些 用户， 去做 全量 的 这样的 一个 实名制。

但是 在 另外 一方面， 不知道 你们 有没有 注意到， 整个 中国 的 小 贷 的 这些 公司， 其实 出海 的 也 非常 多。 包括 在 东南亚， 包括 在 墨西哥、 巴基斯坦。 其实 电商 是 一块， 消费 金融 是 一块。 类似 于 借呗 的 现金 贷 的 这个 场景， 其实 是 比较 大 的 一个 趋势。

因为我 之前 在 跟 一个 去 英国 出海 做 公司 的 一个 朋友， 他们说 英国 开 个 户 简直 是 难于登天， 经过 好 多层次 的 认证， 然后 还得 线 下去， 可能 开 个 户 得 好几个 月。 我不知道 东南亚 是不是 也是 类似的， 还是 它 可能 这个 过程 更 快一点， 因为 所有 东西 都在 这个 数字化 在 转型， 是不是 这样 也是 造成 了 造假 或者 是 诈骗 会 更 多一些。

它 其实 安全 和 体验 很多 时候 确实 是一个 有点 矛盾 的 一个地方。 但是 我 觉得 整个 东南亚 这 一块 的话， 他们 还是 希望 今天 要 去 更加 快捷 便利 的 去 使用 这样的 一个 互联网 的 手机。 监管 的 普遍 的 水位 确实 没有 那么 严。 比如 我 举 个 例子， 菲律宾 它它 有 二 十几张 官方 认可 的 证件， 他 都 可以 去 成为 你的 这个 身份 的 一个 证明 信息 的 I D 甚至 他的 对应 的 这个 政府部门 都 是一个。 很多 时候 他 只能 看 这个 证件 是不是 看起来 挺 像 真的 去 认可 他。 所以说 在 东南亚 验证 的 这个 能力 其实 更加 缺乏， 或者说 更加 严重 一点， 所以说 我们 也 发现 东南亚 整个 的 deep fake 的 欺诈 会 更 多一点。 一方面 它 这个 技术 的 问题， 另外 一方面 的话， 你 今天 整个 东南亚 也 在 做 数字化 转型， 希望 完全 线上 化去 开户， 去 放贷 存款， 去做 其他 事情。 我们 也 发现 比较 明显 的 一个 趋势。

所以 整个 在 这个 sora 发布 之后， 我不知道 可能 从 咱们 zo s 或者 整个 防止 defect 这样的 行业 里面， 大家 有没有 一些 共识。 是 大家 希望 从 技术手段 来说， 然后 从 哪些方面 去 进行 一些些 改变， 或者 是 去 能够 更 高效 的 去 防止 这些 大幅度 的 一些 诈骗 的 产生。

对， 首先 是 zora， 我 觉得 非常 震撼。 大厂 的话 安全 的 一些 整个 的 能力 其实 做 的 还 不错 的。 所以说 一般 黑 产 也 不会 去去 用 他们 这样的 一个 直接 线 上去 调用 这种 方式。 攻击者 还是 利用 一些 开源 的 一些 模型， 直接 在线 下去 做 这样的 一个 生成。 我 觉得 就是 基于 diffusion tion 的 这个 模型 的 能力， 其实 是在 随着 这 A 这些 产品 技术 的 快速 发展， 也是 越来越 逼真。 未来 也有 可能 就是 他们 能够 直接 做 多 动作， 直接 能够 去做 炫彩 一些 打光。 所以说 其实 也 回到 我们 一开始 的 那个 问题， 就是 未来 我们 真的 还能 在 互联网 上 相信 那些 对面 的 那些人， 相信 他们说 的 那些 话？ 从 短期 来看， 今天 整一个 对抗 的 激烈 程度 会越来越 强， 而且 我们 也 看到 整个 攻击 的 他 手法 的 变化， 可能 原来 都是 几个 月 才会 变化 一次， 这是 现在 可能 就是 几周， 它 就 可能 会有 一些 不一样， 那就 要求 我们 整个 的 对抗 的 效率 也是 变得 更加 快。

就 主动式 对抗。 因为 我们 其实 原来 都是 看到 case， 看到 一些 不良 的 一些 环境。 我们 就 把 它 加 到 我们的 训练 集， 然后 我们 去 训练 我们的 模型， 然后 我们 去做 一些 防御， 这是 我们 以前 的 这样 一个 做法。 现在 我们 也 发布 了 这样 我们 自己的 一个 叫 deeper defect 的 一个 防御 的 一个 产品。 我们 期望 其实 是 变成 主动式 的， 包括 从 摄像头 层面， 包括 从 我们的 系统 层面， 在 应用层 层面， 我们在 服务端， 包括 我们 也可以 去做 一些 攻击 case 的 一些 挖掘。 因为 我们 也 发现， 其实 它 整个 的 这个 攻击 其实 还是 是 批量 的那 它 有没有 一些 共同 的 特征， 比如说 它的 一些 位置 信息， 对 吧？ 比如说 一些 处理 一些 工具 什么， 其实 我们 这 里面 其实 还是 有 很多 特征， 我们 去 可以 去 找到 的。

听起来 其实 这个 快速 响应 其实 还是 蛮 重要 的。 能够 第一时间 能够 先 把 问题 提前 发现 出来， 然后 人员 就 介入 了， 对 吧？ 再去 看 到底 有没有 一些 什么 pattern。 根据 咱们 已经 有的 一些 模型， 就 比如说 是 这个 打光， 然后 比如 他的 这个 动作， I P 地址， 所以 这 几个 就 赶紧 就 跟上 了， 就是 一 环连 一 环 的， 然后 看看 是不是 一个 fraud 或者 一个 skin。

是的， 所以说 用户 规模 及 攻击 情报 的 这个 发现 及 检测， 其实 是啊 非常 关键 的。 我们 全球 有 十几亿 的 用户， 所以说 其实 我们 能够 针对 于 异常 的 一些 flood， 我们 其实 是 可以 快速 的 去 发现 的。 就 对抗 是一个 方面。

那 如何 更加 主动 的 去 解决 这样的 一个 问题？ 所以说 从 去年 开始 我们 也 看到， 比如说 OpenAI 或者 是 google apple 其实 不是 做了 一个 联盟。 比如说 针对 于 这些 图像 或者 视频， 需要 强制 加水印， 这个 我 觉得 其实 就是 一个 比较 好的 一个 开始。 但 水印 的话 有一个 问题， 就是 犯罪分子 他 一定 会 把 所有的 水印 都 擦掉 了。 今天 我们 有没有可能 就 加 一些， 比如说 暗 的 一些 水印， 这个 水印 是 比较 有 强 的 这样的 一个 鲁棒性， 比较 难 发觉 这个 也很 难 被被 修改 掉。 这些 技术 其实 是 现在 大家 都 研究 比较 多 的。

或者说 今天 有没有可能 在 一些 所谓 的 meta data 这个 层面 上， 就是 加 一些 签名， 比如说 apple 你 这样的 一个 公司 产生 的 这样的 一个 内容， 这个 是 OpenAI 产生 的， 这个 是 google 产生 的。 如果 今天 我们 要 彻底解决 这个 问题， 可能 是 需要 公司 跟 政府 层面 上 我们 一起来 合作。 能够 把 它的 整个 的 这个 可信 跟 签名 这个 机制 给 做 起来。 其实 是 我们 叫 端 云 一体 全 链路 的 这样的 一个 防控。 因为 大家 要 知道 安全 的 一个 方案， 它 其实 是一个 系统性 的 一个 事情。 你 今天 只 防 一点， 你是 防 不住 的。 你 门 装 的 很好， 那你 窗户 漏 了， 那 别人 通过 窗户 这边 去 放进来， 这个 是 不行 的。 所以说 我们 今天 其实 要 去做 的 是一个 全 链路 的 这样的 一个 防控。

我们 还 做了 一个 安全 摄像头 的 事情。 因为 这个 其实 依赖于 手机 的 需要， 在 它 这边是 增加 一个 叫 T E 的 一个 可信 环境。 我们会 把 一个 公司 要 我们会 存在 这样的 一个 T E 的 一个 芯片 里面。 比如说 拍 视频 的 时候， 或者说 我们在 拍照片 的 时候， 我们会 针对 于 这个 内容 会 去 加 签名。 然后 这个 公司 钥 其实 是在 T1 里面， 你 没有 办法 篡改， 而且 也 私钥 肯定 没办法 去 读出来 的。 然后 加密 的 时候 我们 就可以 传到 比如说 我们的 A P P 里面 去了。 这个 是 系统 层面 上 的， 在 应用 层面 上 我们 就可以 读 到， 对 吧？ 那 读 到了 以后， 然后 在 我们的 服务端， 我们 再去 验证 这个 内容 是不是真的 层层 的 去做 安全 的 这样的 一个 校验？

然后 比如说 我们在 A P P 端 可以 去 加 一些 刚才 说 的 一些 主动式 的 一些 安全 的 一些 能力。 比如说 我们 也会 去 加 一些 明 水印、 暗 水印， 就 跟 google OpenAI 今天 在 做 的 事情 是 一样的。 在 这个 A P P 产生 的 这个 内容， 我们是 倾向 于 它是 可信 的。 因为 我们 其实 加 了 这些 验证 在 里面， 包括 在 这个 活体 这个 阶段， 我们 还是 可以 继续 去做 多 动作 的对 吧？ 我们 可以 去做 这个 闪光， 可以 去做 炫彩， 我们 还 可以 做 多 动作， 肯定 都有。

原来 这个 屏幕 它 变化 颜色 就是 为了 看我 是不是 实时， 是 真人。

对， 就是我 我可以 再 讲 的 细节 一点， 就是 一闪一闪 的 时候， 其实 你的 这个 脸 其实 是 有 颜色 的对， 你的 反光 其实 是 它是 一个 立体 的。

这个 反光 是我 拿了 一个纸 是 吧？ 是我 拿了 一个 人脸 的 纸， 它 就会 就 不就 露馅 了。

你 就 一张照片 或者 是一个 屏幕 的 时候， 它的 整个 反光 的 模式 是 不一样的。 我们 就可以 用 这个 pattern 去 进行 识别。 就 从 外部 的 人 看来， 我们在 服务端 可能 就是 一个 人脸识别 跟 一个 证件 O C R 的 这样的 一个 能力。 O C R 是 文字 识别， 我们 会有 很多 防伪 的 一些 能力 的 一些 检测。 我们 其实 后面 防伪 的 模型 可能 有 20到30个 模型， 外部 的 人 可能 是 很难 感知 的。

就 我 刚刚 我们 其实 是 讲到 希望 这些 大厂， 希望 这些 A I 产品 的 提供者 能够 给 到 我们 一些 水印 或者 一些 防伪标志。 但是 现在 有 很多 这些 开源 的 模型， 后面 会 被 大家 不法分子 加以 利用。 我 觉得 这块 儿 是不是 基本上 是 没有 办法 能够 防御 它 了。

首先 开源 这个 模型 其实 都有 一些 特征， 肯定 是 我们 可以 去 进行 防御 的。 有 一些 内容 我 觉得 可能 还是 要 再加 到 强制 里面 去 验证 的， 不管 你 怎么 改， 最后 你 这个 东西 没有， 那 我们 可能 就是 不 认可。

可能 这个 就是 像是 hugin face， 或者 给 hub 这 样子 的 平台， 它 可能 需要 做 一些 限制， 然后 知道 是谁 把 这些 当 我走了。 然后 中间 这个 平台 会 起到 一些 制约 的。

这样的 作用。 学术界 它 叫 一个 叫 溯源， 对 吧？ 我们 今天 能不能 针对 于 这些 AIGC 的 内容 有一个 比较 好的 一个 溯源。

所以 对于 这个 从业人员， 特别是 像 你们 自己 zoo s 来说 的话， AIGC 出现 之后 是一个 疯狂 在 追赶 的 一个 状态。 因为 之前 大家 都 没有 预测 到 AIGC 会 这么 快 有一个 爆发。

对， 因为 蚂蚁 这边 的话 就 针对 于 人脸识别 这 一块， 其实 是 很早， 就 2015年 的 时候， 马 老师 就在 德国 发布 了 第一个 的 人脸识别 的 产品。 Difc t 这 一块 其实 从 2019年 就 开始 做 deep fake 的 这个 防御， 当时 其实 更多 的 还是 偏 学术 层面 上。 我们 也是 去 参加了 比如说 美国 的 i beta 的 这个 level two 的 认证。 我们 2020年 就 已经 获得 了 我们 亚太 一家 获得 的 这样的 一个 也是 一家 专业 的 做 活体 检测 的 这样的 一个 实验室。 包括 2022年 我们 也 在 国内 组织 了 一次 def hic 防御 的 这样的 一个 比赛， 其实 有 几百 支队 我们 也 来 一起来 参与。 2022年 之前 我们 发现 攻击 的 case 更多。 我们 叫 cheap fake.

就是 便宜 的 那个 cheap。

对， deep learning 再加 fake 我们 叫 deep fake。 然后 trip fake 更多 的 其实 是什么 呢？ 是 比如说 做 P S 贴 张 照片， 它 其实 不需要 利用 一些 大 数据 的 一些 能力， 我们 更多 的 是 手工 的 一些 篡改。 在 2022年 之前， 我们 在线 上 看到 就是 这么 一个 情况。 包括 其实 我们 在北京 成立 了 一家 专门 的 一个 生物识别 的 这样的 一个 检测 实验室。 我们 针对 于 指纹、 针对 于 人脸， 针对 于 我们的 证件， 针对 deep fake， 我们 其实 都会 去 进行 这样的 一个 检测。 比如说 google 它的 这个 手机， 其实 现在 就是 用 我们的 这个 实验室 再去 进行 指纹 的 检测。 每一次 这个 手机 出厂 之前， 我们 可能 就会 针对 对于 它的 这个 指纹 安全性 去 检测。

对， 然后 defect 更多 的 我们 还是 在 比赛 学术 层面 上 在 研究。 但是 2012年 确实 就 随着 整个 AIGC 的 ChatGPT 发展 以后， 整个 的 这个 攻击 的 case 确实 是 呈 指数 级 的 这样的 一个 上升 的 这样的 一个 情况。 几年 前 我们 发现 准备 的 这个 技术， 突然 就有 了 这样的 一个 弄出来。 以前 大家 都 认为 这 可能 就是 我们 今天 只要 做好 识别 的 准确率 就可以 了。 但是 今天 就 突然 发现 比 真 还 真的 这样的 一个 时代 的 情况 下面， 我们 怎么 去 识别 今天 到底 是人 产生 的 还是 AIGC 产生 的？ 这个 其实 是 今天 有 幸运 的 一个点， 我们 正好 就 碰到 了 这样的 一个 状态。 随着 这个 对抗 的 越来越 激烈， 对于 你 更新 的 效率， 对 你的 防护 的 完整性， 情报 的 分析 响应 能力， 我 觉得 这个 其实 要求 都 比较高。

好的， 我 觉得 今天 应该 是 差不多 了。 今天 非常感谢 文景 来 我们的 节目 做客， 给 我们 科普 了 这么 多 的 d fake 的 攻防 领域 的 知识。 好的， 我也 期待 大家 赶紧 今天 行动 起来， 该 转移 风险 转移 风险， 然后 把 自己 照片 该删 删。 对， 做好自己 的 防护， 平常心 面对 我们的 A I G C 的 这个 时代。

好， 谢谢 丁 教授。

谢谢。

这就是 我们 今天 的 whats next 科技 早知道。 欢迎 大家 在 评论 区 和 我们 留言 互动， 加入到 科技 和 创新 的 下一步 讨论 中 来。 另外 如果你 想 支持 我们在 播客 内容 上 的 探索 和 创新， 欢迎 大家 加入 我们的 生动 胡同 会员 计划。 详细 的 加入 方式 和 信息 请 查看 本期 节目 的 so no， 我们 下期 再见。