S8E02 | AI 时代的仙童八叛逆？聊聊 Transformer 论文八子的 AI 创业公司都在做什么
35:52 Share

用 声音 碰撞 世界， 生动活泼。 欢迎来到 what's next 科技 早知道 第八 季， 和 全球 创新 第一 时间同步。 嘿 欢迎来到 what's next 科技 早知道 第八 季 的 第二期， 我是 丁 叫 导演。

上周 我 花了 好 几天 在 英伟 达 G T C 的 现场 跟 很多 参会 的 朋友 聊天。 这 周 我 基本上 没有 出门， 在 家里 做了 挺 多 案头 的 研究。 我 做了 一些 什么 研究 呢？ 那 就是 google 走出 的这 transparent 8字， 他们 A I 创业 的 公司 现在 都在 做什么？ 这个 选题 的 方向 也 是因为 上期 G T C 节目 播出 之后， 不管 是 听众 小伙伴 还是 我们 团队 内部 的 小伙伴 都 跟 我说， 还 蛮 想知道 这 八个 人从 google 出来 之后 他们 在 做什么。 因为 这 八个 人 确实 是 transformer 的 先驱。 好吧， 我 就 通过 单口 的 形式 来做 这样的 一次 新的 尝试， 希望 大家 喜欢 今天 的这 一期 节目。

从 2017年 attention is zany 的这 篇 论文 发布 之后， 然后 八位 论文 作者 陆续 离开了 google。 最后 一位 是在 去年 离开 的， 我是 leon Jones， 离开 过 我 之后 创建 了 sara A I 第一位 离职 的 就是 这个 ellia plus sa， 他在 17年 就 离职 了， 然后 创建 了 自己的 区块 链 公司 near protocol。 为什么 大家 对 这 几个 人的 动态 这么 关注 呢？ 当然了， 他们是 开创 了 整个 用 transformer 架构 来做 自然 语义 方向 研究， 开创 了 整个 生成式 I 的 新时代。

另外一个 角度， 我 觉得 这 八个 人 也 让 硅谷 的 大家 想到 了 上个世纪 硅谷 刚刚开始 成为 硅谷 的 时候， 仙童 八 叛逆 这 八个 人， 这 八位 可是 硅谷 历史上 非常重要 的 人物。 我不知道 大家 对 仙童 8喷你 有 多 熟悉， 我 就 先 把 这 八个 人 先 介绍 一下， 然后 我们 再 来讲 我们 今天 的这 transformer 8字。 在 那个年代， 神通 八 叛逆， 他们 之前 同样 是 为 一家 公司 效力 的那 家 公司 叫做 肖克利 半导体 实验室， 沙 克利 semiconductor laboratory。 这个 半导体 实验室 跟 它的 名字 一样， 是 由 肖克利 领导 的那 肖克利 是谁 呢？ 肖克利 时 发明 的 晶体管， 从而 获得 诺贝尔奖。 然后 断言 规 会 取代 者 成为 晶体管 最 主要 材料 的 是 一位 天才。 如果 是 没有 他 的话， 那 今年 可能 硅谷 不是 硅谷 了， 而是 浙 股。

虽然 他是 一个 科学界 的 天才， 但 他 没有 一个 我们 所说 的 良好 的 情绪 边界。 研发 过程 当中 发现 的 困难 比 他们 预想到 的 要 大。 所以 他 就 被 这个 困难 给 打击 了， 影响 到了， 然后 变得 越来越 偏执， 然后 就 把 这些 气 就 撒 在 他的 这个 员工 身上 了。 他 经常 的 公开 指责 他们的 员工， 并且 让 员工 进行 测谎， 然后 公布 他们的 所有的 薪金。 这些 事情 就 把 员工 都 惹恼 了， 特别是 非常 聪明 的 这些 研究 人员。 这 八个 人 就 把 老板 肖克利 给 炒 了， 他们 一起 从 肖克利 半岛 实验室 离开了， 他们 创建 了 一所 新的 公司。

肖克利 也 非常 的 生气， 那就 把 他们 给 他们 起了 一个 外号 叫做 treasures a treasurer 这个 英文 的 意思 就是指 背信弃义， 不 忠诚 这个 意思。 所以 大家 可能 会 想， 为什么 硅谷 今天 没有 同业 竞 蒸 的 这种 约束 呢？ 确实 是 没有 的， 当年 也没有。 肖克利 生气 归 生气， 但 他 没有 办法， 所以 八 叛逆 也是 我们 现在 知道 的 这个 仙童 八字 非常 成功 的 从 一家 叫做 fairchild， 就是 仙童 摄影器材 的 公司 老板 那里， 我们 现在 称之为 天使投资。 为了 感谢 这个 老板， 他 就 把把 这个 公司 叫做 fairchild semiconductor， 叫 仙童 半导体。

新农 半导体 在 60年代 崛起， 然后 发明 了 第一个 单片 集成电路。 然后 在 此后 的 十年间， 整个 改变 了 整个 半导体 的 行业 和 此后 的 这个 电子 工程 领域。 接下来 的 故事 可能 是 我们 更加 熟知 的那 就是 这 8子当中 的 两位 创建 了 我们 今天 太 熟悉 不过 的 芯片 公司 英特尔 了。 这 两位 大家 已经 知道 我说 的 是谁 了， 一个 就是 诺伊斯， 一个 就是 摩尔。

不仅仅 只是 这 两位 哈那 从 仙童 半导体 出来 的 这些 fair children 们， 就是 仙童 的 这些 孩子们， 也 在 硅谷 先后 创建 了 A M D、 zilli ks、 altera L S I logia national semicon conductor 这些 公司。 包括 不仅仅是 在 这个 半导体 行业， 也 在 这个 风险投资 行业， 像是 u gene cleaner， 这是 八子 之一。 然后 是 硅谷 最早 的 风险投资 公司 k pcb 凯鹏 华英 的 创始人， 他 投资 了 英特尔， 然后 非常 的 慧眼识珠， 投资 了 我们 现在 熟知 的 基本上 所有的 巨头 公司， 苹果、 思科、 谷歌、 亚马逊 等等等等 非常 多。 然后 这些 公司 都是 成为 了 各自 领域 的 巨头。

我们 今天 的 这个 transformer 8子和 历史上 的 这个 仙童 8判， 你 有 很多 一样的 地方。 比如 他们 都 非常 的 聪明， 在 自己 研究 的 领域 有 很多 的 前瞻性 的 认知 和 见解。 都在 一家 技术 公司， 特别是 一家 处于 行业 领先 的 一家 公司 供职， 同时 都 处在 一个 新的 技术革命 的 时间 节点。 下面 我们 就 来 好好的 聊 一 聊 这个 新 transformer 8字， 新 八字 他们 在 做什么， 我们 不能 把 他们 叫 叛逆 了， google 的 胸怀 肯定 是 比 肖克利 的 要 宽广 一些， 为什么呢？ 因为我 在 做 研究 的 时候 发现， 八字 中有 的 公司 也有 google 投资 的 身影。

我 觉得 在 聊 下 一部分 之前， 有一个 背景 知识， 我们 大家 可能 还是 需要 了解 一下 的。 Transformer 到底是什么 东西？ 为什么 它 给 行业 带来 了 这么 大 的 一个 飞跃 式 的 进步？ 很多 的 伟大的 发现 和 创新 都是 来自于 非常 朴素 的 日常生活。 Transformer 的 发现 也是 一样的。 这 八字 它 其实 最早 的 只是 来源于 想要 改进 谷歌 机器翻译 的 这样的 一个 问题。 传统 来说， 机器翻译 最大 的 问题 就是 很难 理解 上下文。

在 过去 自然语言 处理 的 这个 领域 是 使用 R N N 的。 R N 是什么 呢？ 它是 叫做 递归 神经网络。 递归 神经网络 如果 用 比较 口语化 的 表达方式 来说 的话， 那就 好像 是一个 有 记忆 的 人。 但 他 记忆 不是 特别 好， 经常 记不住 太 久远 的 事情。

这些 作者 们 首先 认识到 R N N 的 不足， 然后 就 开始 研究 一个 叫做 注意力 的 机制。 Transformer 的 这个 模型 就 相当于 给 它 加 了 一个 聚光灯， 让 他们 能够 重点 关注 最 重要 的 信息， 这样 它 就能 很 好的 处理 一个 比较 长 的 一些 数据。 Transformer 的 这个 模型 其实 就是 用 这种 注意 的 机制 替代 了 R N N 这样 一个 循环式 的 一个 结构。 最后 将 注意力 机制 和 前馈 神经网络 结合起来， 你看 又 提出了 一个 新词， 这个 我 等一下 再 讲， 然后 就 提出了 transformer 的 这个 模型。

前馈 神经网络 又是 什么 呢？ 它是 一个 比较简单 的 神经网络， 它 就 像是 一个 流水线， 信息 从 这边 输入， 然后 流向 另一端。 它 不会 像是 RNN 这种 往复 循环 的 这个 样子 在 做 计算。 所以 相对来说， 用 前馈 神经网络 训练 速度 也 加快 了。 基于 以上 的 三点 transformer 就 诞生 了。

对于 很多 聪明 的 学者 和 工程师 来说 的话， google 是一个 非常 令人 向往 的 雇主。 给钱 多 包饭， 还有 给你 20% 的 时间 做自己 想做 的 项目。 我记得 我自己 刚 来到 硅谷 的 时候， 我的室友 是在 google 工作。 我自己 去 蹭 过 几次 饭， 心里 真的 是 无穷的 羡慕。 但是 没办法， 我自己 是一个 非技术 背景 的 学 渣。

在 16年 的 时候， 所有的 人工智能 人才 基本上 全都 被 谷歌 垄断 了。 所以 也会 有了 这个 奥特曼 和 yellow musk 创建 OpenAI 的 这个 故事。 我们 在上 一期 的 一期 内容 聊 了 这个， 如果 大家 感兴趣 的 可以 翻 回去 再 听 一听。 对， 他们是 为了 不让 google 成为 一家独大， 所以 马克思 和 奥特曼 创办 了 OpenAI。 但是 在 当时 确实 所有的 人才 都在 google 人才 密度 非常 高 的 地方， 那就 必然 增加 了 创新 发生 的 可能性。

两位 google research 的 科学家， 也就是 第一位 作者 a shih washington， 和 jasko's n 然后 他们 就在 google 园区 里面 讨论 如何 改进 机器翻译 的 这样的 一个 想法。 正巧 被 alia bu 听到 了。 他 正在 跟 一些 A I 研究员 在 研究， 他 自己 称之为 自我 注意力， 也就 叫做 self attention 的 这样的 一个 想法。 他的 这个 自我 注意力 的 概念 就是 让 机器 通读 整个 句子， 然后 分析 所有的 部分， 并不是 一个 单词 一个 单词 这样 逐个 的 翻译。 然后 机器 就可以 更加 通顺 的 来 了解 上下文， 进行 翻译。

这 三位 在一起 合作 之后 做了 一些 尝试， 然后 发现 这个 自我 注意力 的 概念 是 有效 的， 非常 对的。 他们 在 这个 走廊 聊天 的 时候， 又 发现 另外 一位 老 员工 叫 no razer， 对 这个 研究 领域 也 很感兴趣。 你看 都是 很很 随机 的， 然后 大家 互相 听到 对方 在 聊 什么。 这个 是 zer 曾经是 帮助 谷歌 搜索 做 这个。 Did you mean 它是 一个 拼写 建议 功能？ 我相信 用过 google 的 大家 都会 知道 这个 功能。

然后 慢慢的 这就 发展 成了 八个 人的 团队， 他们 开始了 为期 数月 的 这样的 一个 合作。 他们 终于 在 2017年 发布 了 attention is ordinary 的这 篇 看起来 非常 简短， 但是 重要性 跨 历史意义 的 这样的 一篇 论文。 据 这 几个 作者 表示， 这 篇 论文 的 标题 的 名字 就是 对 披头士 甲壳虫 这个 乐队 其中 的 一首歌， all you nee is love 这样的 一首歌 的 一个 致敬。

在 这 篇 论文发表 后 不久 的 这个 17年 8字中的 第八位 作者， 也是 第一个 离开 谷歌 的 alia blue skin 创建 了 涅 尔 协议 near protocol。 这个 创业 的 领域， 可能 大家 会 觉得， 这 并不是 人工智能 领域， 为什么呢？ 因为 在 2017年， 它 并不是 一个 人工智能 的 大年， 它是 一个 区块 链 加密 货币 最 火 的 一年。 虽然 当年 美国 证券交易 委员会 S E C 拒绝 了 多家 资产管理 公司 申请 发行 比特币 现货 的 etf， 但是 不 影响 比特币 从 2017年 年初 的 600美元 一直 升到 了 2万美元。 福布斯 的 一篇 文章 甚至 是 把 标题 命名 为， 大家 会 记得 2017年 是 比特币 之 年 2。

Seventeen will be, remember red as the year of bitcoin. India 和 他的 合伙人 Alexander guano v 同为 I P C P， 然后 也就是 国际 大学生 程序 竞赛 的 获奖 选手， 两位 都是 少年 天才， 两个人 都在 辞职 了 之后 加入 了 y combinator Y C 并且 在 短短的 四个 月 筹集 到了 5000万美元。 Near polo 现在 的 目前 的 估值 是在 20亿美元， 他们 先后 吸引 了 包括 像是 知名 的 H 6z， multi coin capital， 然后 像是 coin base banter 等 区块 链 领域 著名 的 风投 机构。 我 还 看到 了 这个 百度 风投 在 里面 也是 他们的 一个 投资人。

Near pol co 是一个 什么东西 呢？ 它是 一个 攻略， 他 把 自己 定义 为是 以太 坊 的 一个 竞争对手。 他们的 核心技术 是 他们的 一个 分片 技术， 叫做 nash 的。 这个 词 的 意思 就 叫做 茄科 植物， 就是 茄子， 什么 土豆、 西红柿 都是 这个 茄科 植物。 Nih 的 是一个 分片 技术， 它 可以 每秒钟 处理 10万笔 交易， 这个 数字 是 远远 大于 现在 以太 坊 的 这个 30TPS 的 处理 的 速度 的。 这个 数字 是在 2022年 的 这样的 一个 数字， 现在 我没有 做 最新 的 研究， 我 还 不太 清楚 现在 以太 坊 到 多少 了。 但是 在 当时 的 时候 是 非常 吸引 投资人 的 一个 技术。

那 这个 分片 概念 又是 指的 是什么 呢？ 分片 概念 指的 是 将 网络 基础设施 分成 几个 部分， 然后 也就是 方便 这个 计算机 只 处理 网络 交易 的 一小部分， 通过 在 网络 参与者 之间 分配 区块 链 的 各个 部分， 而 不是 整个 区块 链。 然后 分片 希望 创建 一种 更加 有效 的 方式 来 检索 网络数据 和 扩展 平台。

第二个 创建 的 公司 确实 是一个 A I 公司 了， 它的 名字 叫做 cohere， 中文 里 就是 连贯性 一致性 的 这个 意思。 他是 2019年 9月eden go max 在 加拿大多伦多 创立 的那 adam 是 transformer 这 篇 论文 的 第六 作者， 非常 的 年轻。 当时 他 只是 在 google brain 实习 的 一位 实习生， 实习期 也 只有 短短的 四个 月。 后来 他 就 又 回到 了 多伦多大学 继续 读书。 但 在 读书 的 过程 当中， 他 也 创建 了 一个 非盈利 的 组织， 叫做 for A I， 专门 是 帮助 各种 研究 人员 协作 一起 学习 相关 的 一些 技术。 后来 这个 就 发展 成了 cohere for A I 也 还是 一个 非营利 的 研究型 的 实验室， 帮助 大家 一起 去 解决 复杂 机器学习 的 一些 问题。

Adan 后来 在 2018年 又 回到 了 加拿大 的 谷歌 大脑 部门 继续 实习。 然后 与 加拿大 的 计算机 科学家， 也是 深度 学习 之 父 hinton 一起 合作 的 knowledge distribution tion， 这个 叫做 知识 蒸馏 这样的 一些 研究 工作。 知识 蒸馏 是什么？ 就是 将 大 模型 的 知识 转移到 小 模型 的 这样的 一种 方法， 目的 就是 在 保留 模型 的 性能 的 同时， 减少 计算 的 资源 的 消耗。 之后 他 又 短暂 的 和 这个 压 correa， 然后 也是 八子 之一， 在 伦敦 的 谷歌 部门 合作 过。 然后 在 伦敦 的 时候， 他 还 被 牛津大学 的 计算机 的 博士学位 录取 了。 但 他 只是 去 上了 一段时间 之后 就 很快 的 退学 了。 再 之后 他 就 回到 了 多伦多， 创建 了 cohere。 虽然 说 好像 这也是 一个 很长 的 一段时间， 但是 他们 在 去年 的 六月 以 22亿美元 的 这个 估值 融 到了 2.7亿美元。

除 nv 加 之外， 还有 south force、 甲骨文 S A P 等等。 很多 这种 大 的 企业 软件 服务商 都是 他们的 投资人。 跟 open I 它的 这个 经营 思路 不同， 他们 其实 是 不 面对 消费者 的 这样的 一个 市场， 只是 专 耕 这个 to b 的 这样的 一个 领域。 对 很多 企业 来说 的话， 在 企业 内部 做 A I 的这 样子 的 一个 部署 和 应用， 最大 的 顾虑 就是 公司 自己 本身 的 一些 隐私， 公司 自己 本身 内部 的 这些 数据， 他们 不愿意 面对 潜在 的 泄露 的 风险， 所以 口号 就 抓住 了 这 样子 的 一个 市场 的 痛点。 他们 可以 帮助 企业 选择 自己 喜欢 的 这个 云 服务， 或者 是 帮助 他们 在 本地 部署 A I 解决方案。

那 cohere 比较突出 的 能力 就是 他们 现在 叫做 端 到 端的 检索， 增强 生成 激素， 叫做 reg retrieval augmented generation。 然后 他们 在 今年 3月份 推出 了 一款 名为 command 2的新的 语言 的 模型。 这个 command 2在reg 这个 领域， 甚至 是 超越 了 lama 2。 还有 像是 欧洲 的 这个 大 模型 的 mr 以及 GPT3.5 turbo。

我们 下面 来 讲一讲 这个 reg 到底是什么 意思。 这个 检索 增强 生成， 顾名思义 它是 一个 将 检索 和 生成 结合起来 的 一个 技术。 它的 优势 在于 可以 把 检索 到 的 外部 的 信息 和 生成 的 这样的 一个 内部 知识 结合起来， 生成 出来 的 这个 结果 它 更加 的 准确， 更加 的 详细。 相比 于 单一 的 这样的 一个 模型， 它 有 更强 的 支撑 和 推理 能力。

就像 比如说 是 我们 两个 同时 上 考场， 然后 接受 一个 考试。 我自己 带 了 一个 能有 搜索 功能 的 手机。 然后 另外 一个人 他 只是 自己 做了 一些 背诵 的 工作。 所以 我 肯定 答 的 这个 题 或者 我的 这个 卷子 就会 比 他的 分 高。 如果 简单 讲 一下， 就是 这 样子 的 一个 比较。

我 这 两天 看到 这个 notion 的 创始人 evan joo 在 接受 一个 播客 采访 的 时候， 也 提到 了 这个 reg 和 知识 管理 的 未来。 其实 notion 也是 cohere 的 客户 之一 哈那 比如说 是 notion 里面 的 这个 A I 的 问答 功能， 当然 还没有 上线。 艾文 说 在 他们 去 开发 的 这个 list 上面 就 通过 rec 以往 可能 大家 如果 在 notion 上面 要 检索 一个 之前 输入 的 这个 内容， 可能 得 通过 关键词 或者 去 到 某 一个 条目 下面 的 这个 细分 的 领域 去 把 这个 东西 找 出来。 但是 有了 这种 A I 的 问答 这个 功能， 你 就 很快 的 能够 获取 这样的 信息， 跟 以往 的 这个 途径 是 完全 不一样 了。

然后 另外 还有一个 特别 有意思 的， 就是 他们的 一个 calendar 的 功能。 艾文 在 节目 里面 讲 reg 和 workflow 这样的 一个 概念。 在 他们 新的 这个 产品， 因为我 自己 还没有 试用 过， 是一个 新的 领域 的 应用。 因为他 觉得 这个 会议 的 本身 就是 把 一个人 的 大脑 里面 的 信息 传达 给 另外一个 人的 大脑 里面。 其实 A I 就可以 通过 调整 日程， 或者 是 帮你 处理 一些 问题， 把 这些 事情 简化 的 做 掉了。 甚至 可能 很多 时候 我们 就 不用 开 这个 会 了。

Cohere 的 这个 command 2除了 刚刚 的 这个 reg 检索 增强 生成 的 能力 特别 强 之外， 然后 它 也有 更长 的 这种 上下文 的 窗口。 然后 大概是 在 128000个 token， 然后 它的 价格 其实 比 好多 其他 的 同 类型 的 竞争对手 也 更加 便宜 一。 他们 也 正在进行 新一轮 的 募资， 寻求 最高 大概是 10亿美元 这样的 一个 资金， 用来 与 OpenAI 和 anthropy 在 企业 领域 的 这样的 一些 竞争， 与 他们 来 抗衡。

下面 我们 要 讲 的 这个 公司 叫做 inceptive。 刚刚 我们 讲到 adam 在 英国 google 工作 的 时候， 与 这 篇 论文 的 第四 作者 yb 5ZK 有了 第二次 的 合作。 Cob 的 研究生 是 毕业于 柏林工业大学， 他 也是 google 的 非常 老的 员工 了。 他 08年 就 开始 在 谷歌 供职 了， 曾经 领导 过 谷歌 的 翻译， 然后 谷歌 助手 的 团队。 他 也是 在 transformer 八位 作者 当中 是 提出了 关键 的 注意力 的 这样的 一个人。 大家 可能 都 知道 transformer 是 为 像是 GPT， 文生 图 等等， 做出 了 很多 重要 的 贡献。 大家 可能 不太 知道 是 这个 D I P M I 在 2020年 发布 的 alpha 4蛋白质 结构 预测 的 系统 里面， 其实 也 采用 了 transformer， 创造 了 蛋白质 预测 三维 结构 这样的 一个 新的 记录。

垭口 自己 在 接受 这个 venture b 的 采访 的 时候 说， 他 也 希望 A I 不仅仅是 用 在 大 语言 模型 里面。 因为 他在 新冠 疫情 时候 看到 人类 在 疫苗 和 药物 研发 的 各种 不足， 然后 同时 他 其实 在 这个 时间 自己 有了 自己的 孩子， 这个 让 她的 整个 人生观 发生 了 很大 的 变化， 所以 她 希望 能把 A I 和 疫苗 和 药物 研究 能够 结合起来。 所以 他 也是 唯一 一个 跨界 的 在 A I 和 医疗 领域 做 创业 的 这个 八字 其中 的 一个人。 那 他在 21年 的 七月 与 斯坦福大学 的 生物 化学家 R E J O 我不知道 念 的 对不对， regio does 创建 了 except 这个 公司。 在 2020年 的 时候， das 和 他的 团队 开发 了 可 常温 保存 的 cov 9的R N A 疫苗。

Inceptive 在 去年 7月份 获得 了 英伟 达 旗下 的 amb antres， 还有 H 6Z的 投资， 大概 募集 了 1亿美元。 另外 两家 基金 投资 他们的 叫做 obvious venture 和 S 32。 这 两家 基金 大家 可能 都 不太熟悉， 但是 如果我们 提到 它 背后 的 创始人， 大家 可能 就会 了解 了。 Obvious venture 是 由 twitter 联合 创始人 evan William 创办 的那 S 32的创办人 曾经是 这个 google venture 的 创始人 兼 首席执行官 inceptive。 它 这个 产品 它是 开发 了 一个 人工智能 的 平台， 通过 机器学习 模型， 然后 可以 设计 独特 的 这个 M R N A 的 序列。 有了 这种 生物 软件 的 技术， 他们 就可以 快速 的 在 实验室 里面 创建 和 测试 新的 分子结构。 这个 思路 其实 就 跟 阿尔法 的 预测 蛋白质 的 结构 思路 非常 的 相像， 只不过 是 换成 了 预测 和 优化 R N A 的 序列。 然后 inception 再 将 成功 预测 的 这些 分子 授权 给 制药 的 这个 合作伙伴， 然后 他们 来 开发 新药。

雅克布 现在 说 他们 大概 已经 有 310多个 M R N 的 项目， 在 不同 的 阶段 里面， 从 临床 前 到 临床 的 实验 都有。 伊拉克 预计 未来 10年 内 会有 七百 多种 基于 M R N A 的 新药 问世。 关于 R N A 有趣 的 一点 是 它的 适用性 非常 的 广泛。 但是 它的 结构 预测 不是 特别的 简单， 并且 数据 非常少。 对于 蛋白质 结构 的 预测， 我们 知道 的 现在已经 有 几十万个 案例， 但是 已知 的 这种 R N 的 结构 还 不到 2000个。 不过 相比 于 蛋白质 来说 的话， 蛋白质 其实 是 有 二十多种 氨基酸 的 这样的 一个 复杂 的 结构。 R A 它 只是 有 4种不同 基础 的 生物 的 这样的 一个 聚合物。 所以 它 虽然 是 数据 不够， 数据 很少， 但 它 可以 相对 的 高效 的 产生 一个 更快 的 这样的 一个 训练 和 反馈 的 循环。 所以 也是 为什么 亚克 比 一开始 就 选中 了 这个 M R N A 这样的 方向。 然后 他们是 觉得 这个 领域 的 开发 有 巨大 的 潜力。

说完 inceptive， 我们 来 聊 一下 character AI。 同样 也是 在 21年 年底 离开 谷歌 的 八子 之一 norm 沙 吉尔 是 这 篇 论文 的 第二 作者。 他 从 98年 杜克大学 毕业 之后 就 加入 了 google， 是 google 的 前 200名员工 之一。 他 21年底 离开了 google， 然后 和 自己的 合伙人 就是 Daniel d fetus 一起 创建 了 Carry K A I。 Norm chaser 其实 之前 是 谷歌 大脑 的 核心 研究 人员 之一， 然后 专门 是 研究 N L P， 然后 还有 机器学习 的这 一块。 他 其实 是在 谷歌 推动 transformer 架构 在 谷歌 的 落地 和 应用。 他的 合伙人 Daniel 这是 创建 了 并且 领导 了 谷歌 大脑 里面 的 这个 lambda 的 项目 的 开发。

可能 相比 我们 前面 聊到 的这 几家 公司， character A I 可能 算是 最 有名 的 一个 了。 在 今年 3月份 H 6Z发布 的 全球 最受欢迎 的 100个消费 级 的 A I 产品 榜单 里面， carrot A I 是 第三位。 上一次 H 6Z发表 这个 榜单 的 时候， 还是 在 半年 之前， 他们 其实 是在 第二位。 第一位 是谁 呢？ 一直 没有 变， 这就是 拆 GPT 了。 然后 现在 的 第二名 变成 了 谷歌 的 germany。

Character A I 跟 很多 这种 大多数 单一 的 这种 A I 的 助手 不同， 他 其实 是 主打 的 是一个 陪伴 型 基于 聊天 的 这种 A I 用户， 可以 跟 平台 上面 的 各种 性格 的 虚拟 角色 进行 交谈。 12点上面 有 非常 多 的 各种各样 的 虚拟 人物， 有 动漫 里面 的， 也有 一些 文学 的 领域 的 一些 虚拟 人物， 甚至 是 像 一些 名人， 像是 伊隆 马斯克 这种。 虽然 凯尔 对 A I 上面 有 一些 正儿八经 的 A I 角色， 比如说 是 就 帮你 一起 进行 头脑风暴， 帮助 你来 进行 面试 的 预 练、 排练 的 这种 角色。 但 大部分 的 角色 还是 陪你 聊天 的， 就 比如说 我 跟 这个 马斯克 的 角色 聊 了 半天 就 一点 用 都 没有。 然后 我问 他谁 是 character A I 上面 最受欢迎 的 角色， 他 跟 我说 是 比尔盖茨、 奥巴马 和 特朗普。 然后 我 又 跑 去 问 奥巴马 谁 是 character 上面 最 有名 的 虚拟 角， 他说 是 他的 老婆 米歇尔奥巴马。 当然了 每一个 对话框 下面 都是 写 着 所有的 这个 角色， 说 的 一切都是 编造 的。

如果 要 让 大家 猜 一下 的话， 我不知道 大家 能不 能猜到 caracter A I 上面 最受欢迎 的 虚拟 角色 是谁。 对， 我是 自己是 没 猜 到 的。 原来是 游戏 原 神 中的 这个 角色 叫做 雷电 将军， 雷电 将军 已经 产生 了 超过 2.8亿条 的 这样的 一个 对话。 整个 游戏 和 动漫 领域 的 角色 在 character V I 上面 其实 是 占 了 76% 的。 所以 大家 也 能够 猜 到 他们的 核心 用户 了， 18到24 这样的 一个 年龄阶段 的 用户， 占 character A I 整个 网站流量 的 60%。

H 6Z这个 榜单 里面 还有 两个 数据 让 我 觉得 非常 的 惊讶 的。 其中 一个 就是 K T I 上面 的 用户 平均 每天花 2个小时 跟 上面 的 虚拟 人物 进行 互动。 这个 数据 其实 已经超过 了 tiktok 95分钟。 然后 每个 月 每个 用户 大概 跟 虚拟 人物 之间 有 298个 对话。 在 这种 陪伴 型 的 人工智能 的 产品 里面， 它 真的 是 遥遥领先 的， 比 第二名 的 这个 Polly I 多了 四倍 还要 多。 另外一个 数据 就是 crt A I 的 日 活 的 指标， 其实 一度 超过 了 ChatGPT。 在 用户 使用 时长 和 年轻人 用户 占 比 这 两个 指标 上面， cacti 其实 远超 ChatGPT 的。

去年 10月扎克伯格 在 meta 的 开发者 大会 上面 说， 人们 不会 想要 与 单一 的 超级智能 A I 互动， 而是 会 想 和 各种 不同 的 A I 互动。 所以 meta 就 一口气 发布 了 28个 个性化 的 聊天机器人， meta 把 它 称为 叫做 有 故事 背景 的 角色 A I 这个 也是 发挥 了 小扎 一贯 的 别人 有什么 很 好的 产品， 我 赶紧 抄 了， 然后 我自己 赶紧 就 放到 市场 上面， 然后 大家 开始 玩起来。 这个 也 是从 侧面 证明 了 现在 有 多 受欢迎。 背后 像是 meta 这样的 公司 也是 在 对 他们 虎视眈眈。

然后 在 平台 上 有 另外 的 一种 存在， 叫做 vi T U B R。 Vi T U B R 其实 就是 一种 虚拟 的 youtube B R 创作者 通过 这个 character A I 创造 和 控制 这些 虚拟 的 角色， 再 用 youtube 或者 是在 推上 做 直播。 其中 有 一些 vt U B R， 通过 这个 character I 创造 的 已经 有了 几十万 甚至 是 几百万 的 粉丝。 去年 3月份 Andrea 领 投 了 他们 1.5亿美元 的这 一轮 融资， 所以 Carter I 也是 妥妥 的 独角兽 了。

他们 自己 对 整个 行业 的 这个 理解 还是 蛮 跳脱 的。 因为 刚刚 我们 又 回到 像是 mete 发布 的 这种 有 故事 背景 的 角色 的 AI。 沈 sir 觉得 这个 是 也是 太 恭维 我 了。 他 觉得 把 A I 做成 管家、 个人 助理 这样的 东西 太小 了。 然后 他 觉得 比如 像是 传统 的 这种 书籍、 电影， 还有 社交， 其实 本质 都是 相同 的。 大家 都 是在 同一 空间 进行 交流， 同一 空间 进行 对话。 整个 这样的 一个 产业， 就是 娱乐 的 产业 和 这种 社交 的 这样的 一个 产业， 想象 空间 是 更大 的。 而且 这个 产业 他 觉得 值 2万亿美元。 Character I 正在 跟 包括 像是 谷歌 风投 在内 的 投资人 开始 商讨 新一轮 的 募资 了。 然后 这 一轮 新的 估值 可能 会 在 50亿美元 左右。

下面 就 剩 两家 公司 了， 这 两家 公司 都 是在 二三年 才 成立 的， 非常 的 新。 所以 网上 他们 披露 的 自己的 产品， 披露 自己的 研究 方向， 东西 都 还 比较 少。 我们 先 来说 一下 这个 essential ai essential A I 这 两个人 其实 是 第一 作者 a SHE was money 和 第三 作者 nick palmer 做 的 essential。 并不是 他们 从 谷歌 离职 之后 做 的 第一个 公司 了。 其实 他 和 nikki 一样， 都 是在 南加州大学 完成 了 研究生 和 博士学位 之后 加入 了 谷歌 的。 他们 之前 是 校友， 然后 后面 都 是在 谷歌 大脑 工作， 所以 他们 一直 也是 在一起 创业。 而且 是 和 niki 他们 在 21年 离开 google 之后， 他们 第一个 创建 的 公司 叫做 adapt A I 就是 A D E P T， 就是 熟练 的 这个 意思。

公司 除了 他们 两个 之外， 还有 第三个 co founder 是一个 华裔， 他 叫做 David 鸾。 但 David 虽然 没有 参与 这个 transformer 的 论文 写作， 但 他 也是 一位 技术 大拿。 他是 在 2017年 加入 了 早期 的 open a 然后 深度 的 参与 了 GPT2和 3的开发。 19年 他是 加入 了 谷歌 研究部门， 担任 技术主管。

A deb 也是 一经 成立 就有 超强 的 目 资 能力， 获得 了 包括 像是 微软、 英伟 达 在内 的 3.5亿美元 的 融资。 在 去年 估值 其实 也是 妥妥 的 独角兽 的 这个 行列 了。 但是 在 融资 不久， 谁 是 和 nikki 就 离开了 adapt， 创建 了 essential。 在 去年 也是 连续 的 募资 的 两轮， 他们的 吸金 能力 实在是 太 强 了。 他们 在 去年 年底 的这 一轮 新的 穆斯林 里面， 是 由 march capital 和 throw capital 领 投 的。 然后 google、 英伟 达 A M D 都 参与 在 essential 的 投资 当中， 一共 募集 了 大概是 五千多 万美元。

其实 和 niki 他们 在 媒体 上 表明 自己 现在 做 的 这个 新的 业务 跟 他 没有 直接 的 竞争 关系。 但是 从 现在 他们 两家 企业 在 网站 上 很少 的 这些 文字， 我 感觉 其实 还是 有 一定 相似 的 地方 的。 我 感觉 他们 其实 都 是在 想说， 如何 是 帮助 企业 的 这个 数据 分析师 提高效率 这 样子 的 方向 在 开发 产品。

Essene 在 去年 年底 从 这个 still small 出来， 就是 隐身 模式 出来， 他们 透露 的 信息 其实 特别的 少。 在官 网上 只有 一段话， 还有 他们的 招聘广告。 这段话 我可以 给 大家 读 一下。 他们说 我们的 技术 会 使 数据 分析师 的 效率 提高 十倍， 并 为 业务 提供 独立 的 数据 驱动 型 的 决策者 工具。 他 还将 识别 供应链 中 最大 的 风险 并 提出 改进 建议。

在 adapt 的 官网 上面 就有 他们 最新 产品 的 一个 demo 的 视频。 他们 新的 这个 多 模态 模型 叫做 adapt full you heavy full you 应该 是 日语 里面 的 冬天， 我不知道 他们 是不是 取 的 这个 意思。 而 代表 是 full you heavy 是 全球 第三 强大 的 多 模态 模型， 仅次于 GPT4V 和 german 的 ultra 但 他们的 训练 规模 仅仅 是 他们的 10分之1 和 20分之1。 那 demo 的 视频 里面 其实 就是 展现 了 这个 food heavy 在 一个 复杂 的 可视化 的 图表 里面 怎么样 识别 各种 信息， 并且 根据 用户 的 指令 来 回答问题。 比如说 是 图表 中 哪个 数字 更高， 比如 画面 中开 了 几个 窗口， 比如说 放弃 购买 的 比例 是 多少， 然后 这个 系统 就会 给出 非常 准确 的 答案。

我们 说完 essential， 我们 再 来说 一下 最后一个 公司 叫做 sina A I 然后 是 去年 8月月 才 成立 的 这个 公司。 萨卡 纳 应该 是 日语 里面 鱼 的 意思， 创始人 是 transformer 这 篇 论文 的 第五 作者 leon Jones。 这个 公司 跟 其他 的 公司 不太 一样， 不是 在 北美， 它是 在 东京 创建 的 一个 底层 大 模型 的 公司。 今年 也是 一月份 获得 了 这个 less capital cosplay 的 这样的 一个 领头 跟 投。 有 日本 最大 的 电信公司 N T T group， 然后 包括 索尼 集团， 募资 大概是 3000万美元 的 这样的 一个种子 轮。

他们 在 上周 刚刚 发布 了 他们 自己的 首个 的 研究成果 萨 康纳。 不知道 大家 在上 一期 的 节目 里面 还 记 不记得， 他们 其实 是 说 的 特别的 虚， 是 这个 模型 之间 的 这种 互相 的 merge， 然后 怎么样 进行 这个 迭代， 我自己 当时 完全 是 没有 听懂 的。 在 看 了 他们 自己 最新 的 这个 研究成果 的 这样的 一篇 文章 之后， 我 觉得 我 可能 稍微 理解 了 一些。 然后 我 现在 跟 大家 来 分享 一下， 这个 萨卡 纳 的 模型 是 受 这种 进化论 的 模式 的 这样的 一个 启发， 反映 了 这种 育种 或者 是 自然选择 的 这样的 一个 过程。 他们 自己的 这个 模型 叫做 evolutionary model merge， 翻译 过来 的话 应该 叫做 模型 合并 的 这样的 一种 新的 技术。 他们 只 把 现在 已有 的 已经 串 好了， 这样的 一些 人工智能 模型， 让 他们 互相 合并 或者 做 一些 不同 的 更改， 然后 就可以 产生 新的 模型。 这样 讲 是不是 还是 有 一点点 玄乎？ 我 让 anthropy t cloud 给我 做了 一个 通俗易懂 的 比喻， 我 下面 跟 大家 分享 一下。

想象 一下 你 想 找到 一种 最好的 钓鱼 的 技巧， 能 让 你 钓到 更多 更大 的 鱼， 你可以 这样 做， 一、 先 随机 试试 不同 的 钓鱼 方法， 比如 使用 不同 类型 的 鱼饵， 钓竿 长度、 投饵 的 距离 等等。 2、 看看 哪些 方法 钓到 的 鱼 最多， 然后 把 这些 比较 成功 的 方法 记录下来。 3、 在 已有 的 成功 方法 上面 做 一些 小小的 改动， 比如说 是 改成 新的 钓鱼 的 技巧 的 组合， 比如 延长 钓竿， 更换 鱼饵 的 类型 等等。 4、 能 用 这些 新的 组合 继续 钓鱼， 看看 效果 如何， 如果 比 之前 好 就 保留 下来， 如果 不好 就 丢弃。 5、 反复 重复 步骤 三和 4， 然后 不断 尝试 新的 组合， 保留 最 优秀 的， 逐步 优化 钓鱼技巧。 这样 就是 一个 简化版 的 一个 进化 算法 的 思路。 通过 不断 的 随机 的 一些 变异， 就是 括号 改变， 然后 选择 括号 保留 最 优秀 的， 然后 逐渐 迭代 改进 的 这个 结果。

对于 萨卡 纳 A I 来说， 他们 不是 优化 的 是 钓鱼 的 技巧， 而是 优化 的 是 神经网络 的 架构设计。 一开始 是 一些 随机 的 网络 架构， 然后 通过 评估 每一个 架构 在 生成 新的 一些 任务 上 的 表现 的 好坏， 然后 就 保留 最 优秀 的 抛弃 结果 不是 特别 好的， 如此 往复 的 不断 进行 优化， 不断 的 进行 进化， 最后 得到 在 生成 任务 中 表现 最佳 的 全新 的 神经网络 架构。 这样的 一个 算法 的 好处 是因为 我们 现在 有 很多 不同 的 开源 的 大 模型。

然后 已经 被 串 好的 大 模型， 我们 不用 反复 的 去 train。 大 模型 不需要 很多 的 预设 的 知识， 模型 和 模型 之间 就能 自动 发现 出来 更加 高效， 参数 更 少， 然后 性能 更强 的 一些 新颖 的 架构。 这样 其实 就 为 AI 自己 开发 自动化 的 设计 开辟 了 新的 可能性。

萨卡 纳 和 13社这 两家 公司 信息 确实 在 网上 披露 的 还 不是 特别的 多。 如果 后面 有 一些 新的 他们的 产品 和 进展 动向 的 时候， 我们 也会 来 跟 大家 在 节目 里 继续 的 聊 一 聊。 今天 这 几家 公司 我 就 帮 大家 介绍 到 这里， 不知道 大家 听 完 这 一期 节目 有什么 想法 没有？ 疤 子 的这 几家 公司 里面， 大家 觉得 最有 影响力 的 会 是 哪 一家？ 哪 一家 会 是 我们 现在 的 英特尔？ 也 欢迎 大家 在 评论 区 里面 一起 讨论 了。

最 最最 最后 我在这里 给 大家 播 一首， 我 上周 无聊的 花了 五分钟 时间 用 sono 创作 的 一首 歌曲。 也 是因为 我 最近 看 了 南非 版 的 这个 三体， 有感而发 做了 这个 曲子 以及 他的 这个 词。 我 就请 我们的 后期 同事 放在 最后 了。 好的， 谢谢 大家 今天 的 收听， 我们 下次 再见。

In the that forest we want to ely see, so a waste of life watching for me. I, 我， we check. With hearts so last in the shadows were all in the time we claim.

Know we. Never get into the ano with no guy. Which is pretty. seeking. We all afraid we in the for sechin fly lost in the day and night. We are take good.

这就是 我们 今天 的 words next 科技 早知道。 欢迎 大家 在 评论 区 和 我们 留言 互动， 加入到 科技 和 创新 的 下一步 讨论 中 来。 另外 如果你 想 支持 我们在 播客 内容 上 的 探索 和 创新， 欢迎 大家 加入 我们的 生动 胡同 会员 计划。 详细 的 加入 方式 和 信息 请 查看 本期 节目 的 so no， 我们 下期 再见。