E170｜大模型应用之困与异军突起的“埃森哲们”
01:22:28 Share

欢迎 收听 硅谷 101， 我是 红军。 今天 跟 我 在一起 的 两位 嘉宾， 一位 是 华映 资本 的 合伙人 Johnson to hi john 你好。

听众 朋友 大家好。

还有 一位 是 agent Q L 的 创始人 kiss 宅。 Hello 翟 老师你好。

嘿 红军 你好， 谢谢 邀请。

因为 今天 其实 我们 主要 想 聊 一下 大 模型 方向 的 应用， 大家 一直 在 提 应用。 但是 投资人 是 怎么看 这个 市场 的？ 包括 创业者 最终 在 这个 市场 里面 好不好 拿 融资， 好不好 做 商业化。 待会 我们 可以 具体 讨论一下。 Case 你 要不要 跟 我们 介绍 一下 agent Q L 它是 做什么 的对。

agent Q L 的话 它 其实 我们是 一种 比较 底层 的 一个 语言 了。 但 其实 核心 的话 就是 可以 把 所有的 网页 和 所有的 document 很 容易 的 变成 structure data， 就 结构化 数据 抓 完 结构化 数据 的话， 你可以 去来 做 分析， 做 商业 分析 也好， 或者 是 做 其他 各种各样 的 东西 也好。 这个 是一个 非常 简洁 的 一种 方式。 因为 过去 抓 数据 其实 是一个 非常复杂 的 一个 过程 了。 但是 我们是 把 一个 网页 和 文件 都 以 一种 语义 的 方式 来 解构 这样的 一种 东西。

对， 其实 说到 生成式 A I 的这 几年， 我们 整个 播客 聊 它的 时间 还 比较 早。 大概 从 2022年 就是 chat P T 还没有 发布 开始 是 扩散 模型 的 时候， 就 文生 图 的 时候 已经 在 报道 他 了。 经过 这几年， 其实我 觉得 我自己 的 心态 上 也 一直 是在 发生 改变 的。 大家 最 开始 说 在 整个 的 这个 市场 里面， 最大 的 应用 就是 ChatGPT， 对 吧？ 其实我 是 前几天 看到 这个 notebook L M 出来， 我 觉得 它 其实 是 比 chat P T 要 更 惊艳 我的。 因为我 是 做 播客 的， 但是 这个 产品 我们 具体 放到 之后 我们 可以 再聊。 在 之前 的 时候， 我也想 听 一听 大家 在 投资 跟 创业 的 过程中， 跟随 A I 这 波 浪潮， 你们 在 心态 上 的 一些 改变。 Case 你 应该 是 这 一轮 中才 开始 自己的 创业 的对。

我们 是从 去年 下半年 开始 的， 这 改变 的 东西 实在太 多了， 因为 整个 这个 行业 实在是 太早 了。 其实 像 红军 你们 聊 的 时候， 这个 事儿 其实 更 早。 但是 整个 这 一波 A I 的话， 对于 绝大多数 公司 来说， 应该 是在 这 chat PT3.0 前后， 很多人 开始 往 这方面 去 看 的。 在此之前 的话， 就 比如说 上 一代， 现在 大家 都 会说 上 一代 的 A I 和 现在 的 A I 在 很多人 眼里 是 完全不同 的 两种 东西 了。 归根到底 他是 一个 非常 年轻 的 小娃娃， 可能 就 才 两个月 大 这样的 一个 小娃娃， 所以 一切 东西 实在是 太 新 了。 而 对 一个 小娃娃 来说， 他 这个 是 日新月异 的， 每天 都在 成长。

就 比如说 当时 我们 刚刚开始 的 时候， 那个 时候 其实 连 agent 这个 词儿 都 没有， 也就是 中文 讲 的 A I 智能 体 这个 词儿 当时 是 没有 的。 因为 以前 一说 什么 是 agent？ 那你 按照 中文 的 这样 一个 转换 过来 的 一个 理解， 那 就是 007就什么 邦德 对 吧？ F B I 这 才是 agent， 那 别的 agent 其实 是 没有 这个 概念 的。

后来 我们 刚 开始 的 时候 其实 也 不知道 这 叫 什么。 但是 后来 的话 才 慢慢 发现， 这个 市场 开始 慢慢 有了 一个 定义 叫 agent。 这个 时候 已经 有 这个 定义 之后， OK 这时候 又 发现 一个 问题。

下一个 演化 就是说 当 大家 都在 谈论 agent 的 时候， 大家 在 谈论 什么？ 因为 最 开始 当 出现 agent 的 时候， 大家 说 我们 见面 都会 聊 agent agent right。 但是 其实 什么 是 agent 呢？ 这些 东西 是 完全 不一样的我 说 的 agent 和 你说的 agent 可能 咱们 在 讨论 用 一个 词儿， 但 其实 讲 的 是 完全不同 的 两个 东西。 你 可能 说的是 一个 chatbot， 就是 一个 聊天机器人。 我 可能 讲 的 是一个 动作 的 一个 范式 的 动作 模型， 或者 是一个 工作 流程 的 一个 自动化。 所以说 这就是 很 像 村上春树 什么， 就是 当我 在 跑步 的 时候， 你 在 想 的 就是 没有人 知道 你 在 说什么。 这个 其实 就是 当 一个 很多 的 事物， 在 他 一个 非常 早期 的 时候 的， 我 认为 是一个 很 明显 的 体现。

对 kiss 如果 听 过 我们 播客 的 同学， 可能 对你 之前 聊到 的 一些 爆款 节目， 就是 我们 讲 东南亚 诈骗 的 还 非常 有 印象。 对， 那个 时候 你的 身份 还是 华尔街日报 的 记者。 这次 其实 你是 以 一个 AI 创业者 的 身份 来 继续 参与 我们的 节目。 就是我 很 想知道 当时 你 在 选择 A I 这个 赛道 来 创业 的 时候， 你是 怎么 想 的？ 然后 当时 市场 是 什么样 的？ 然后 我们 对比 今天 的 这样的 一个 市场， 就是你 觉得 这 中间 不管 是 心态 上 还是 融资， 还是 大家 对 这个 行业 的 认知 上， 最大 的 变化 是什么？

当时 的话 其实 肯定 有 很多 原因 了， 因为我 之前 那 份 工作 做了 将近 20年 的 时间， 应该做 的 还 OK 的。 但是 离开 的话 其实 肯定 有 很多 的 原因 在 里面。 但是 我 感觉 其中 一个 让 我 跟 本期 话题 可能 是 最 接近 的 一个 原因， 是 当时 我记得 我问 了 一个 不错 的 朋友， 他 也是 一个 非常 成功 的 国内 某 一家 很 大型 上市公司 的 一个 创始人 之一。 因为 当时 我是 想 开始 做了， 然后 我 跟 很多人 去 聊 这个 事情， 聊 A I， 大家 怎么看？ 我记得 当时 印象 很 清楚， 我们是 坐在 一个 酒吧 里。 他 当时 在 开始 跟 我 讲， 他说 kids 这 是一个 范式 的 革命， paradise shift.

什么 是 paradigm shift 呢？ 就是 像 电器， 像 这样的 一个 不是 一个 行业 的 改变， 它 带来 是 整个 社会 的 一场 改变， 这样的 一种 革命。 他说 你 当你 认为 这个 是 一场 范式 革命 的 时候， 你 不需要 去 想你 要 做什么， 你 需要 做 的 是 进去 开始 做。 这就是 为什么 我 最 开始 当时 的 一个 最 主要 的 决定 点 之一。 因为我 自己 作为 一个 知识 的 获取 者 或者 知识 的 产出 者， 我自己 过去 这些年 用过 好多好多 的 其他 的 语言 模型 类 的， 就上 一代 的 A I 我 用过 好多好多 产品。 但是 这些 产品 在我看来 根本 还是 距离 我自己 写作 都是 没有 办法 去 比 的， 就 差 的 非常 远。 但是 当我 最 开始 用 GPT3 的 时候， 就 我自己 心里 那个 震撼 应该 是一个 非常 强烈 的那 我 随着 推移 我 能 看到 他是 这样的 一个 范式 的 革命， 在 这个 时候 我是 非常 同意 的那 这时候 干嘛呢？ 你 先 跳进去， 先 扑棱 在 里面 再说， 基本 是 这样的 一个 逻辑。

那 现在 的 感受 呢？

现在 的 感受 当然 就 一直 在 里面 扑楞 着 了。 作为 创业 那不就 一直 在 里面 扑棱 着 吗？ 就是 一直 就是 我们 去年 开始 到 今年 上半年 一直 在 stealth 这个 隐身 模式。 中文 可能 是 就是 到 这样的 一个 时候， 反正 我们 刚做完 A 轮， 但是 整个 过程中 从来 没有 感觉 一天 是在 上岸 的， 一直 在 水 里 扑腾 着。

因为 像你 刚才 讲 的， 红军 整个 这个 行业， 整个 时代 变化 的 实在是 太快 了， 跟 过去 不是 一个 量级 的 改变。 过去 的 这个 十年 来说 和 现在 的话， 它 在 范式 革命 过程中， 因为 尤其 涉及到 A I 他 对 效率 是一个 根本性 的 一个 调整。 在 这样的 一个 环境 下， 他 这 更新换代， 整个 迭代 是 非常 快 的。 对我来说， 在 过去 的 一年 多 的 时间 里， 适应 这样的 一个 快速 的 更新换代， 其实 对 创业 的 人 来说， 可能 就要 不断 的 在 水里去 扑腾。 可能 过去 你 做 完 A 轮 可能 也会 感觉， 是不是 上岸 了。 但 现在 的话， 甭说 做 完 A 轮 了， 我们 看到 多少 公司 做 的 更大 了， 融 了 更多 钱 的 上 百个 million 的 这样的 一些 公司， 大家 最后 也都 不行了。 所以 上岸 是一个 很难 去 拿 融资 的 阶段 来 界定 的 事情。

对， 其实 在 我 来看， 我 觉得 你们的 融资 已经 是 非常 顺利 了也 很快。

是我 感觉 是 这样的， 但是 还是 距离 上岸 所以说 感觉 是 不一样的。 对， 就在 这 里面 一直 在 水 里 扑腾 着。

对， 那 我们 现场 正好 有 一位 投资人， 你 会 怎么看？ 因为 其实 我知道你 最 开始 是 学 人工智能 的， 然后 你一直都在 这个 领域， 也 在 这个 领域 做 投资， 包括 看 项目， 你 觉得 当时 ChatGPT 出来 跟 现在 你 再去 看 整个 生成式 A I 引领 的 投资 浪潮， 你 觉得 这几年 最大 的 一些 变化 是什么？

首先 我们 从 H R T G P 刚 开始 出来 到 现在， 其实 并没有 核心 的 转变。 因为 我们 投资 的 最后 都 是以 商业化 为 目的， 对 吧？ 其实 我们 其实 都是 投以 应用 为 导向 的。 但是 有一个 小的 转变， 就是我 可能 自己 开始 思考 是不是 纯 用 的 在 今天 会有 一定 的 风险， 所以 他 其实 需要 一定 的 整合， 这个 是我 现在 的 一个 思考， 就 叉 P 自己 它 其实 也是 个 叫 垂直 整合 的 应用。 它 虽然 是个 应用， 但是 它是 有 很强 的 一个 底层 能力。 因为 刚才 刚好 也 说到 agent， 其实 agent 其实 也是 刚好 是在 整个 技术 站 里面 非常重要 的 一块。 刚才 宏宇 也 介绍 了， 我 其实 最早 我是 学 A I 其实 就是我 事实上 是 agent 的 方向。 所以 我 补充 一下， agent 的 其实 在 90年代 就有 了。

当时 的 agent 是 指 什么？

其实 是 一样的， 一模一样， 就是 叫 智能 体。 对我 是 叫 multi agent collor ation 方向 说 的 更 完整 一些， 就是 叫 多 智能 体 协作 这么 一个 人工智能 里面 一个 分支。 人工智能 其实 有 多个 分支， 包括 深度 学。 那时候 不 叫 深度 学习， 叫 机器学习、 神经网络 这个 agent 自然语言 处理、 机器视觉， 其实 都是 人工智能 的 研究 方向。 我 当时 南 加大 的 P H T 方向， 我们 选 了 其中 一个， 但是 我没有 选 机器学习 和 神经网络。 但 后来 发现 机器学习 加 神经网络， 深度 学习 就 形成了 深度 学。

深度 学习 其实 是 后来 发现 是 整个 的 一个 driver。 所以 跟 那个 时候 比， 那个 时候 agent 跟 今天 的 相比， 其实 它 这个 核心 的 区别 就在于 说 现在 都 是在 围绕 深度 学习。 这个 是 我一直在 总结 的 一个 事情。 就是说 从 第一波 我们 叫 机器视觉， 包括 无人驾驶， 包括 脸部 识别。 就 中国 有 四小龙 五 小龙 开始， 到 今天 的 大 模型， 其实 都是 围绕 着 深度 学习 展开 的。 所以 在 深度 学习 的 这个 范畴 之内， 其实 我们 现在 对 应用 的 要求 事实上 会 比 原来 要 高。

原来 我们 有种 说法 就是 分成 两派， 就是 看 应用 的 或者 看 模型 的。 其实 这 两派 事实上 是 一致 的， 就是 我们 其实 两部 都 一定 会 看， 就 底座 模型 纯 应用。 但是 在 看 的 过程 当中， 我们 就 意识到 一个 事情， 就是说 应用 其实 并没有 大 爆发。 然后 它 导致 了 模型 其实 也 在 面临 一个 挑战。

就 底座 模型 因为 上层 应用 不 爆发， 我 就 变成 说 我的 商业模式 似乎 就 没有 完全 体现 出来。 我 作为 一个 平台， 我 必须 我 上面 的 生态 都 能够 很 大规模 的 在 各个 垂直 场景 落地， 我 作为 一个 平台 的 价值 来 体现 出来 了。 但是 现在 GPT 为什么？ 所以 他 其实 他 自己 现在 真正 用 的 最多 的 反而 还是 他 自己 的这 几个 应用。 他 其实 power 的 这些 东西， 事实上 现在 还没有 看到 一个 特别 清晰 的。

所以 这个 可能 算是 一个 转变， 就是 回到 红军 刚才 的 问题。 其实 我们是 至少 我自己 是 会 更多 的 看 一些 能够 从 纯 应用 的 角度 跨越 出去 的 这样的 一种 应用。 这种 应用 跟 以前 的 互联网 应用 确实 不太 一样。 在 互联网 的 这个 时代 里面 是 有 纯 应用 的。 它 可以 不用 考虑 太多 的 底层 架构 的 这些。 因为我 的 底层 平台， 比如说 浏览器， 比如说 网络协议， 其实 都是 已经 ready 了， 就是 established 我在 上面， 所以 我 具备 很强 的 产品 能力。 对 互联网产品 经理 我 就 能够 做出 一个 很 好的 产品 应用。

最早 的 时候 是一个 网页， 后来 变成 一个 A P P， 他是 能够 在 这个 上面 很快 的 铺下去 的。 但 在 A I 年代， 其实 跟 互联网 是 有 一些 不同 的。 是 或者说 他 加 了 一个 维度。 就 同样 它 也是 一个 产品， 它 必须 有 产品 的 形态。 但是 同时 它 有 一条 我 称之为 叫 数据线。 就 回到 刚才 叫 深度 学习， 因为 我们 现在 都是 围绕 深度 学习 的， 深度 学习 是一个 最 重要 的 基本点。

包括 我们 现在 今天 的 agent 跟 当年 的 agent 很 不同 的 一个点。 就是现在 所有的 都是 需要 数据 驱动， 数据 定义 的。 所以 我们在 我 刚才 说 的 相当于 有一个 叫 产品。 但 在产品 这条 线， 这 是个 互联网 的 一个 角色。 但是 我们 在产品 这条 线 的 平行 的 还 会有 一条 数据 这条 线。 所以 我 必须 得 问 我自己， 我 做 这个 事情， 即便 我是 个 应用 公司， 纯 应用 公司， 我 有没有 真正 的 数据？ 这个 在 以前 是 会说， 但是 没有 那么 的 变成 一个 前置 了， 相当于 是一个 不是 可有可无 的。

说 你 对 这个 问题 的 回答 很 可能 是你的 一个 生死 回答我 是不是真的 有 数据， 然后 我 最后 我的 数据 是 怎么用？ 现在 很多人 做 R A G 也好， 做 微调 也好， 我是 怎么样 真的 能把 数据 最后 能够 融合 到 我 最后的 这么 一个 垂直 模型 里面， 真正 然后 再 跟 我的 产品 合在一起。 所以 现在 相当于 是 有 两条线， 是 互联网 的 产品 这条 线， 还是 再加上 A I 的 数据 这条 线。 所以 比 当年 的 互联网 创业， 其实 在 应用 侧 是 门槛 多了 一层。 所以 现在 难度 事实上 是 加大 了。

对我 觉得 我们 可以 一层 一层 的 往 下去 深 抛， 就是 产品 跟 数据线。 但是 在此之前 我 注意到 刚刚 两位 其实 你们 都有 提到 一个 观点， 就是 觉得 他 离 大 爆发 或者 像 kiss 的 表述， 就是说 离 上岸 还 很早。 也就是说 其实 我们 现在 界定 这些 的 应用， 它 是不是真的 对 我们 有 帮助， 这个 可能 是 存在 争议 的。 而且 这种 你 记 不记得 之前 其实 我们 有 一次 在 咖啡馆 聊天， 你 有 问我 用 着 怎么样？ 我 其实 自己的 感受 就是我 现在 还 很难 用 ChatGPT， 让 他 帮 我 去 写 采访 提纲， 去 写 show notes。 因为他 问 出的 问题 不够 好， 他 整理 的 show notes 我 觉得 跟 我们 所 要求 的 他 达到 的 一个 水准 还差 很多。 你 觉得 这个 是 跟 A I 的 能力 有关系 的 吗？

是的， 对， 这 跟 A I 能力 是 有 直接 的 关系 的。 所以 我们 看 一个 浪潮， 或者 一个 大 的 时代， 从 我的 观点， 我 觉得 至少 有 三块。 就 刚才 说 的， 我们是 叫 底层 能力， 这块 是 非常重要 的。 对应 互联网 年代， 我们 可以 理解 成就 是 当时 因为我 在 硅谷 一份 工作 是 思科， 我 从 南 交大 毕业， 思科 其实 当时 提供 的 就是 这种 底层 能力。

互联网 最 核心 的 就是 连接， 其实 就 叫 网络， 他 就是 用 网络协议 对 吧？ 那是 叫 T C P I P 后台 的 路由器 交换机 把 你 连接 在一起， 这个 是 最 重要 的。 但是 在 今天 的 大 模型 或者 人工智能 时代， 最 重要 的 其实 还是 我们 把 叫做 涌现 能力， 或者 叫做 是 底座 模型 的 foundation model。 底座 模型 的 这个 能力。 这个 能力 其实 还在 迭代， 就 你 刚才 说 的 这个 层面 其实 还在 这 一块儿。 它的 底座 还没有 完全， 就像 当年 思科， 可能 我 就 有点像 我的 协议 都 还没有 完全 的 稳。

就是你 觉得 基础设施 还没有 好。 就是 我们 即使 看 美国 最 先进 的 模型， 它的 基础设施 还是 不够。

还没有 完全 ready， 但 事实上 他 已经 很 不错 了， 实话 说 就是 他 已经 能 做 很多 工作 了， 这是 一块。 然后 事实上 今天 还 缺失 的 就是我 刚才 想说 的 有 一块 的。 其实 在 基础设施 之上， 其实 还有一个 东西 叫做 操作系统， 叫 O S。 这个 在 今天 其实 是 非常 缺失 的。 在 今天 大。

模型 时代 的 操作系统 跟 O S 是 什么的？

应该 首先 O S 的 定义 什么？ 就是 O S 跟 基础设施 info info 的 定义 是什么？ Info 更 像是 工具， 你 拿来 可以 实现， 就可以 帮助 你。 这就是 今天 你说的 上面 的 这些 应用， developer 它 都 可以 用 info 但是 O S 一个 很 重要 的 点 就是我 可以 把 底层 的 细节 跟 上层 的 应用 很 充分 的 隔离开。 这样 应用 刚才 说 的 你 就可以 就是 一个 产品 经理， 你就是 一个 应用 场景 垂直 领域 的 一个 专家， 你 就可以 来做 事情 了。 所以 在 互联网 时代 的 O S 其实 就是 浏览器。 所以 在 互联网 时代 一个 叫 nescafe moment。

就在 nescafe 出现 之前， 其实 大家 为什么 并没有 看到， 就是 cycc o 其实 比那 这个 gap 要 早。 但 cisco 那时候 其实 并不是 很大， cisa 真正 大 爆发 其实 真的 也是 浏览器 出现 之后。 B 浏览器 出现 之后， 在 cisco 这个 基础设施 之上 出现了 一个 操作系统。 操作系统 出现 之后 才 出现 各种 网页。 雅虎 这些 出现 之后， 然后 应用 就 开始 爆发 了。 用 爆发 之后， 当然 facebook 的 这个 价值 一下子 就 体现 出来 了， 所以 这个 O S 是 非常重要 的。

那大 模型 时代 的 O S 应该 是什么 呢？ 对 移动。

互联网 的这 两个 都 很好 理解。 现在 就是 难 的 难点 就是 在 大 模型 时代， 人工智能 时代， 很多人 会 觉得 自己 是个 O S 但是 并没有， 比如 open eyes 对 吧？ Open I 其实 当时 做了 一个 O S 的 尝试 叫 G B T S。 他 觉得 我自己 是个 O S， 他 就是 模仿 I O S 的 做法， 然后 我也 充分 的 隔离 了 上 下层。 在 他 看起来 下面 是 这个 底座 模型， 上面 就是 G P S 上 各种 应用， 甚至 最早 叫 playing game， 后来 变成 了 G P S。 但是 它 这个 核心点 就是说 它的 上层 就是 把 应用层 跟 它的 这个 底座 模型 或者 叫 基础设施 的 这个 中间 的 分界 其实 并没有 那么 清晰。 或者说 如果 你是 按照 它 这个 分界 的话， 你的 价值 就 变得 很低 了。 谁的 价值 变得 很 应用层 的 价值， 应用层 你看 很 容易 你 被 底座 就 给 覆盖 掉了。 是的， 对 吧？

因为你 回到 互联网 时代 或者 I O S 的， 首先 比如 你 在 上面 做 个 雅虎， 你 跟 浏览器 是 没有 任何 冲突 的， 是 没有 任何 的 重叠 的对 浏览器 做 浏览器 的 事情， 你 做 个 雅虎 点 com 你是 提供 内容、 提供 流量、 提供 用户 运营、 提供 商业化， 这个 是你 雅虎 做 的 事情。 但是 浏览器 不做 这个 事情， 所以 你 两边 是 非常 分割 的。 就是 它 这个 分界线 是 很 清晰 的， 这个 叫 上 下层 的 解耦 是 非常 清晰 的。

到 I O S 时代 也是 一样， 你 做 的 是 微信 上 的 A P P， 是 微信 和 比如说 uber， 你 跟 I O S 是 完全 不一样的。 你 一听 就 知道 I O S 跟 微信 是 没有 什么 可以 交叉 的 点。 但 在 今天 你看 你 基本上 所有的 所谓 的 G P S 上 的 应用， 跟 G P S 本身 都是 会有 一定 的 重叠 的， 事实上 是 有 相当 大 的 重叠 的。

我们 提到 应该 提到 那个 no book iran， 对 吧？ 它 其实 跟 GPT 的 功能， GPT 其实 很多 时候 也能 实现 这些 功能。 但 在 之前 那个 jaspar 加上 跟 GPT 的 功能， 或者说 你 今天 在 G P S 就 非常 清晰 了。 G P S 上 所有的 这些 功能， 其实 它 很多 是 做了 一层 产品 上 的 一个， 我们 有时候 叫 可。 但是 GPT 其实 很多 时候 是 可以 实现 的， 而且 它 在 迭代 的 过程 当中， 它 可能 会 实现 越来越好。 而且 你们的 数据 就是我 作为 应用层 的 数据 跟 底层 的 数据 就 底座， 就是 foundation model。 Foundation model 的 数据 其实 他的 数据 跟 你的 数据 有时候 长 得 其实 是 会 非常 像 的。

还有一个 分界 不清晰 的 另外一个 特点， 我们 可以 从 另外一个 角度 去 看， 今天 你 做了 一个 基于 G B T 的 一个 模型 出来 的 垂直 模型。 然后 你 用 这个 垂直 模型 去 回答 你的 客户 的 问题。 这时候 客户 回答 了 一个 问题， 得到 一个 答案。 这时候 你 能不能 清晰 的 判断 这个 答案 后面 支撑 的 这个 能力 是 由 底座 提供 的， 还是 由 你的 这个 应用 提供 的。

其实 在 很多 情况下 并不是 那么 清晰， 这个 跟 互联网 是 不一样的。 比如 互联网 就是说 我在 无本 uber 上， 我 你 实现 了 个 uber 的 功能。 但 其实 哪一块 是 I O S 提供 的， 哪一块 是 uber 本身 提供 的， 其实 是 非常 清晰 的。 网页 和 浏览器 的 这个 区分 也是 非常 清晰 的。 但 在 今天 他在 训练 阶段， 他的 数据 很多 都 在一起 了。 其实我 刚才 说 一切 都 可以 从 数据 层面 去 考虑 这个 事情。 其实 数据 今天 是看 出来 没有 一个 特别 清晰 的 一个 切分 的 点的。

我们 待会儿 可以 仔细 再 讨论一下 数据。 但是 回忆 你 刚刚 讲述 的这 一部分， 其实 有一点 我是 不太 同意 的。 好的， 比如说 你 提到 了 像 notebook L M 它的 那 一部分， 它 是不是 一个 跟 GPT 非常 相似 的 这样的 一个 应用？ 我 觉得 表面 上 来看 很 简单 的 回答 是， 但是 根本上 又 不是。 就是 因为 它的 底座 模型 其实 是 谷歌 的 gi 它 之所以 我说 GPT.

其实 就是指 gam 属于 这 一类， 就是 底座。

对对对， 也 是因为 这个 产品 让 我 最近 两周 对 整个 大 模型 的 法， 我在 心态 上 发生 了 很多 的 改变。 因为 这个 产品 我 发现 比如说 我 把 我的 博客 的 一个 链接 放进去， 然后 它 最后 可以 自动 生成 一段 英文 的 播客。 它 其实 不是 为了 生成 播客 的。 简单 来说 这个 产品 你可以 理解 成 你 放 常温 本 进去， 他 可以 给你 一个 summary 的 研究报告。 同时 你可以 去 问 他 这个 研究报告 里面 的 各种 细节， 他 也会 给你 一些 引导性 的 问题。 在 这个 层面 上 有 一点点 像 那个 probability， 就是 有一点 搜索 似的。 他在 给你 回答 的 时候， 他 也会 引用 他的 这个 回答 是 根据 哪 几段 来 整理出来 的， 它的 这个 体验 非常 好。

之所以 能 生成 podcast， 是因为 他 最近 就 新 加 了 一个 功能。 不知道 是 哪个 天才 工程师， 在 notebook L M 的 右边 加 了 一个 它 叫做 audio overview， 就是 音频 的 总结。 但是 他 非常 聪明 的 把 这个 音频 的 总结 做成 了 一个 播客 的 形式。 所以 他 现在 是 可以 一个 链接 或者 一个 长 文本 就 自动 生成 一个 播客 了。

我 觉得 就是 你说 语气 语调 很好， 交互 非常 自然， 我 觉得 这 可能 是 有 很多 工程 上 可以 调 的 问题。 但是 我 觉得 这个 产品 最 让 我 惊艳 的 部分 是 他 抓点 的 能力 非常 强。 翟 老师 我们 之前 都 做 记者， 其实 一个 好的 记者 他 要 非常 会 抓 这个 问题 的 关键点， 要会 抓 细节， 同时 要会 抓 关键 的 案例。 就是我 觉得 他在 这一点 上 是 比 我们 招 到 的 一些 记者 的 平均 水准 是要 高 的。 但是 对你说 他的 分析 逻辑 怎么样 就 不 讨论。 但是 整体 上 我 觉得 这个 产品 就 我 前面 说 了 那么 多， 它 其实 都 有一个 非常 大 的 特色， 就是 在 这个 底层 的 模型， 它的 长 文本 的 处理 能力。 其实 在 这次 今年 的 google I O 上， 他们 有 着重 的 强调 这件 事情 他是 做 的 非常 好的， 他 可能 是 比 OpenAI 的 底座 模型 要 好的。 所以 其实我 就在 想， 就 像你 刚刚 说 的， 你说 这个 应用 到底 是 应用 本身 的 能力， 还是 这个 应用 底层 的 模型 的 能力， 他 确实 就是 分界 不清。

对， 这个 就是我 说 的 可以 说 是个 特点。 但是 在 我 现在看来， 其实 也是 在 制约 现在 这个 生态 的 一个 问题， 就说 这个 分界 不清晰。 我们 讲 这个 例子 的 时候， 不是 在 讨论 GPT， 是 讨论 germany 跟 no book。 ARM 就是 一个 底座 跟 上层 应用 的 一个。 其实 就 刚才 说 它的 这个 功能， 比如 它 生成 了 这么 一个 音频 的 summary， 你说 这个 功能 这个 里面 一定 有 很多 是 底座 在 做 的， 底座 在 实现 的。 其实 no book ARM。 当然 技术细节 我们 没有 去， 但是 我们 从 外面 看， 就 刚才 你说的 这些 功能。

其实 回到 我 刚才 说 的这 两条线， 一个 肯定 是 产品设计 线， 就是 我们 之前 说， 因为 它的 实质 还是 个 互联网产品， 就 产品设计 线 这个 一定 是 它的 一个 特点。 加盟 也可以 做 这个 事情。 但是 它 跟 用户 交互 的 这种 流畅性， 这个 是 互联网 经理、 产品 经理 们 做 的 最 强项 的 一点很多 其实 是 高于 这些 底座 模型 的 这些 团队 的， 所以 这个 他 一定 会 做 的 很好。 他 跟 用户 的 交互， 所以 让 你 会 觉得 很 流畅， 很 好用， 也很 耐用， 这个 是 他的 第一条 线。

第二条 线 他 一定 是 做了 他是 做了 一个 相当于 是在 这个 上面 又 做了 一些 叉 box 的 提升 的这 可能 是用 一些 微 就 然后 他 肯定 是要 做 一些 rug 了， R E G 做 一些 检索， 增强 生成 这些 功能。 所以 这就是我 说 的 数据线， 它 会 用 数据线 去 增强 底座 的 能力。 但 现在 的 问题 就是说， 所以 我 回到 我 刚才 这个 核心点， 它是 一个 A I 的 应用， 它 不是 个 纯 互联网 的 应用。 所以 产品 那条 线 是 不能 足以 支撑 它的 长久 的。 当然 它 有点 特殊 信息， 它 就是 google 内部 的 一个。 但是 我们 如果 假定 它是 一个 外部 的 产品， 其实 我 有 个 外部 公司 也是 对外 融资 的。 但是 我 就 从 一个 第三方 公司 角度。

我 去 用 jm 来 的。 所以 你 就 觉得 如果 是 第三方 的 公司 来 基于 在 上面 做 这样 一个 应用 的话， 它的 核心 竞争力 就 没有 核心 竞争力。

就会 比较 有 挑战 的 原因 是 说 它 长期 的。 因为 短期 它 可以 就像 这个 nobo ARM1样， 借助 它的 产品 能力 和 对于 一些 数据 的 处理 能力， 就是 刚才 说 可以 做 微调。

但 长期 还是 要 看 底层 模型 的 能力。

长期 你 再往下， 首先 你的 数据 就 回到 我 刚才 的 这个 观点， 我的 观点 但是 未必 正确， 但是 是 我很重要 的 一个 思考。 这个 就是 A I 原生 时代 跟 互联网 时代 的 一个 差别， 就是我 一定要 讲 数据， 而且 我 数据 是 越多越 这个 很多人 其实 同意 的。 但是 你 用 这个 观点 来看 这个 案例 的 时候， 你 就会 陷入 这么 一个 就是说 no book irm。 如果 它是 个 独立 公司， 它 一定要 不停 的 积累 数据， 他 数据 会越来越 多。 他 数据 多了 以后， 我 再 怎么样 再去 跟 底座 去 结合 的 时候， 我是 继续 可以 用 fine tune， 还是 我 继续 用 R A G， 其实 都 会有。 甚至 我会 有 很多 数据 其实 是 更 适合于 预 训练 了。

其实 如果我们 在技术上 看 的 深 一点 的话， 我们会 知道 其实 不管 find 就是 微调 还是 R A G 其实 都会 跟 底座 有 很大 关系 的。 你是 需要 很多 底座 的 支持 的。 就是 如今 越做越 好的 时候， 那 这个 时候 你 跟 这个 底座 模型 的 这个 就是我 刚才 说 你 其实 是 不太 容易 去 解耦 的。 你 要 这条路 要 走 的 很长， 你的 defensive ability 门槛， 护城河 要 很高 的话， 你是 一定要 去 一种 方法。 就是说 你 怎么样 跟 german 做 一个 更 深度 的， 或者说 你 就要 做 一些 自 研 的， 或者 你 自己 预 训练 一些 底座， 某种 预 训练 的 方式 去 生成 自己的 一个 底座， 去 支撑 自己的。 这个 其实 是 我们 可能 看到 很多， 包括 像 property 这样的 公司。

Property 大家 可能 知道 它是 其实 是 deep mind 的的 背景。 对， 我们 从 各种渠道 都 听说 他们 其实 是 其实 他们 最 开始 肯定 也是 这条路 就 propose 第一个 产品 很 可能 跟 note ARM 其实 一样的， 他 还是 比较 轻量 的， 但 他 越 来会 越来越重。 他 也会 去 买 显卡， 然后 再 去往 retrain.

就是 训练 这条。 所以 你的 观点 是 所有的 应用 公司 最后 都会 去 拼 自己的 模型 的。

这条路 在 今天 的 这个 技术 架构 里面， 很 不幸 似乎 是 这么 一 条件。 但是 就是说 对于 不同 创业 公司 可以 寻找 不同 的 方向 或者 道路。 但是 在 今天 的 这个 架构 里面， 可能 你 没有 太多 其他 的 选择， 你 只能 先 按照 这个， 不然的话 你 总是 要 回答 这个 问题， 需要 把 数据 越来越多。 然后 数据 越来越多 的 时候， 我 怎么样 不断 的 维护 我 这个 门槛， 同时 推进。 因为你 做 个 应用， 事实上 你 也是 有 这个 责任， 是 推进 这个 是 作为 应用 的 一个 很大 的 一个 角色。

翟 老师 同意 吗？

我 感觉 数据 这个 肯定 是 这样的， 我 非常 同意。 我 感觉 Johnson 讲 的这 一点， 其实 也是 我们 做 数据 这块 的 一个 考虑 了。 因为 数据 肯定 是 接下来 的 一个 切入点。 数据 的话 你 怎么 去 使用 数据， 你 得到的是什么 样 一个 质量 的 数据。 为什么 说 结构化 的 数据 和 就是你 把 整个 网页 随便 一 抓下来 的 这个 and structure 的 就 非 结构化 的 数据， 这些 东西 其实 都会 带来 不同 的 产品。

甚至 是， 但是 你 认为 所有的 应用 最后 开始 都会 卷 到底 座 模型 这儿 吗？

我 感觉 主要 现在 是 太早 了， 说白了 还是 一个 太早 的 时候。 就 刚 有 互联网 的 时候， 没有 各种 的 开发者 工具， 什么都没有。 那 这会儿 中间 这些 层， 我 理解 张 文思 意思， 就 这些 层 什么都没有。 其实 说白了， 接下来 语言 模型 再往下 发展， 周围 的这 一套 配套 的 设施， 因为 互联网 也 不是 一 上来 就 把 所有 配套设施 都 建 起来 的， 也 像你 讲， 就有 了 浏览器 之后， 很多 东西 又 开始 往 上 再 叠加。 所以 他 这个 我 个人 的 一个 理解， 就 说白了 就是现在 太早 了。

就 跟 苹果 的 这个 APP store 刚 出来 的 时候， 应该 大家 也 没 几个人 还能 记得 最 开始 那 一批 很 火 的 这些 application， 就 那个 应用 都 有什么 了。 那 其实 那会儿 应该 是 最早 的 时候 第一代 iphone。 我记得 那会儿 最 火 的 一个 应用程序 就是 手电筒。 就是我 下载 之后 就 装 个 手电筒， 收 我 0.99元， 不 收 多少钱 我也 记不清 了。 然后 那会儿 感觉 这 好 了不起， 这 手机 还能 这么 装 一个 东西 就可以 当 手电筒 用， 对 吧？ 都是 各种 现在 回想起来 都是 特别 又 幼稚 又 傻 的 这些 应用， 所以 这 东西 就 看 怎么看 了。

就是 在 当时 的 情况下， 不少 的 应用 应该 也都 赚 到了 钱。 但是 他们 会不会 都 成长 为 像 后来 uber， 像 后来 的 dora dash 等等 这些 非常 成功， 或者 是在 某 一些 程度 上 非常 伟大的 公司 呢？ 他 其实 也没有， 所以说 就 看 心态 问题 了。

或者说 你 把 自己 做 的 这个 产品 或者 公司 是 放在 一个 什么样 的 时间 语境 下去 看。 是 放在 一个 风物长宜放眼量 的 一个 几十年 为 周期 的 语境 来看你 想 做成 一个 伟大的 公司， 还是 说 我想 赚 个 200万我 也就 跑 了。 这个 应该 是 不同 的 一个 逻辑 了。

来看 这个 事情 的 你们 属于 哪 一种。

我们 肯定 是 这个 风 无常 一 风 也 凉 了。 对， 这 肯定 是 这样的， 因为 我们是 数据。

也都 是看 第二种。 对， 第一种 叫 utility， utility 很多 其实 不属于 我们 看 的 范畴。

对， 其实 说到 这个 我 其实 还想 问， 因为 我们 也 在 市场上 看到 了 两种 公司。 第一种， 比如说 它 就是 一个 应用， 它 始终 现在 在 google store 或者 APP store 它的 榜单 的 前十名。 但是 这类 应用 它 也不 融资， 它 可能 就是 靠 用户 付费， 它 就能 赚 很多 钱。 但是 说实话 就 大 模型 一 更新， 底座 模型 一 更新， 甚至 是 大厂 的 一些 手机 升级， 他 很 可能 就会 覆盖 掉 这些 应用。 但是 他们 可以 赚 一个 短暂 的 钱， 而且 还 挺 赚钱 的这 是 一波 对不对？

然后 还有 一类 就是说 我想 去做 基业长青 的 公司， 那 可能 就是 投资人 考虑 的这 一类。 所以 我 理解 你 刚刚 说 所有的 应用 都会 做到 底层 模型。 其实 你 也是 想说， 我们 要 抱着 建立 一家 整个 A I 时代 的 独角兽 这样的 一个 想法 去 看待 这些 公司。 而 不是说 这个 市场上 哪些 是 赚钱 的 公司， 来去 看待 这样的 公司 的 心态。

对， 是 这样， 对， 我们 刚刚 其实 反复 在 提到 数据 johnsson 我知道你 对 人工智能 是 有 自己的 定义 的。 什么 是 人工智能？ 你 要不要 跟 大家 讲 一下 你 自己 对 什么 是 人工智能， 就是 这个 问题 本质 的 理解， 以及 为什么 数据 那么 重要 的 一个 逻辑。

对， 可以 再 重点 说 一下 这个 理论。 其实 人工智能 的 历史 基本上 跟 整个 计算机科学 是 差不多 平齐 的。 一九五几年 的 时候 有 有 个 达特茅斯 会议， 从 那时候 人工智能 就 开始了。 所以 刚才 说 的 那些 领域， 包括 agent 就是 智能 体， 包括 像 自然语言 处理， 我 刚才 说 一系列 的 这些 机器学习、 神经网络， 都 基本上 从 那时候 就 开始了。 但是 我 定义 的 人工智能， 其实 是从 2012年 开始， 就 真正 的 我们 把 它 叫做 产业化 的 人工智能。 如果 非 产业化 的 人工智能， 其实 我们 不需要 太 去 花时间， 因为 它 就是 科研。 但是 产业化 人工智能， 其实 核心点 我 总结 其实 就是 深度 学习。 所以 这个 是我的 一个 很 核心 的 一个， 但是 跟 我 刚才 做 的 数据 是 有关系 的。

因为 深度 学习 从 2012年 开始 发生 了 一件 什么 事情 呢？ 就是 2012 之前 所有的 计算机科学， 包括 那些 所谓 的 传统 人工智能 的 这些 领域。 就是我 说 的 这些 传统 的 agent 传统 的 这些 自然语言 处理， 它的 核心点 都 是人 来 写 算法。 有 个 说法 叫 有 多 人工 是 有 多 智能， 就 都 是因为。

人工智能 有 多 智能。

背后 就有 多少 人。 这个 人工 是什么 呢？ 这个 人工 就是 我们 码农， 对 吧？ 我是我 是 比较 机械， 我 从 我 可能 从 小学 开始 我 就 开始 写 代码 了。 我们 这帮 码农 在 后面 每一件 事儿 都 得用 代码 去 写。

但是 2012年 开始了， 其实 第一个 就是 叫 alex net。 他 做 一件 事儿， 就是 把 我 刚才 说 的这 两个 传统 的 人工智能 的 领域， 一个 叫 机器学习， 一个 叫 神经网络。 这 两个 合在一起 形成 一个 叫 深度 学习。 它的 核心点 就是说 我 现在 不靠 码农 一行 一行 人工 的 敲 代码 了， 我 现在 就是 弄 一大堆 的 数据， 当时 要 做 很多 标注， 然后 我 去 用 一个 训练 算法。 就 那个 时候 Alice 当 那 段时间 就 叫 卷积 神经网络， 那个 是 那 一波。

对， 你看 数据 这边 就是 李 飞飞 当时 弄 了 一个 image night， 当然 还有一个 叫 算 力。 算 力 其实 有 个 华人 叫 吴仁 达， 其实 他 贡献 最大。 因为 他的 算 力 第一次 用了 G P U， 所以 这 三个 东西 结合 在一起， 算法 就 alex night。 然后 数据 当时 有 个 image net， 然后 算 力 这 三个 加在一起 可以 称之为 人工智能 三要素。 但是 加在一起 就 发生 了 一次 大爆炸。 爆炸 之后 就 把 我们 之前 所有 计算机科学， 包括 人工智能， 以 所谓 传统 人工智能 做 的 事情 全都 给 颠覆 掉了。 就是现在 我 不用 写 代码 了， 我 就 出来 一个 叫做 黑盒子， 就是 一个 模型。

但是 这个 黑盒子 的 效果 反而 比 以前 我们 一行 一行 代码 敲 出来 白 盒子 的 模型 还要 好， 还要 精准， 错误率 还 更 低。 唯一 的 就是 它 可能 可 解释性 会 差 一些， 因为 它是 黑盒子， 这个 是 现在 也 研究 的 一个 方向。 但是 我们 先 不 讨论 这个， 这 里面 最 核心 的 点就 刚才 说 三要素。 三要素 里面 其实 最 核心 的 点 就是 数据。 就现在 变成 一个 从 2012年 开始， 整个 的这 套 浪潮 变成 一个 我们 可以 称之为 叫 数据 定义。 就是 所有 事情 都 是从 数据 开始， 那是 第一波。 然后 到了 2020年 左右， GPT3 开始 的 时候 他 其实 也是 数据 定义 的， 也是 第一次 把 我们 以前 人类 积累 下来 这么 多 电子书 也好， wikipedia、 reddit 知乎 全都 作为 数据 这样 输进去。

然后 我 训练 出来 一个 这么 大规模 参 数量 的 这么 一个， 然后 它 实现 的 功能 也 比 我们 之前 用 一堆 的 词 叫 自然语言 处理 算法。 因为 自然语言 处理 也是 个 人工智能 领域， 传统 自然 的 语言 处理 的 这些 都 被 颠覆 掉了， 都 被 这个 大 语言 模型 训练 出来 的 这么 一个 大 黑盒子。 把 这些 那么 多 的 教授 做 资源 处理 的， 以前 做 的 所有的 这些 成果 都 可以 把 它 给 超越 了。 所以 这个 是 核心点， 就是 来来回回 我们 其实 想说 的 一件 事情 就是说 在 今天 我们 已经 完全 不能 绕开 数据 了。

就是 在 互联网 时代， 我们在 做 创业， 做 uber 的 时候 在 做 创业 最早 在 做 雅虎 的 时候， 我们都知道 数据 实际 是 它的 一个 结果， 它 产生 出来 的。 因 我 一旦 有 互联网 的 这个 运营， 用户 的 这些 行为 之后， 我 就会 产生 数据。 但是 我在 创业 的那 一天， 我 可能 不会 想说， 我 是不是 只能 拿到 数据 才能 开始 创业。

真的， 今天 其实 就要 突破 这个 认知 了。 就 回到 我 刚才 说 的， 我们 就有 两条线 了。 一方面 我们 把 互联网产品 要 做好， 但 一方面 我们 要把 数据 这条 线 要 做 的 非常 扎实。

什么样 的 数据 是 有用的。

这 是一个 非常 好的 问题。 这 其实 就是 整个 人工智能 浪潮 里面 不断 的 回答 你的 问题。 实际上 它 就是 实现 skinning law 的 问题， 就是 他在 不断 的 寻找 有用的 数据。 就有 的 数据 其实 要 打 引号， 就是 它 其实 这个 定义 是在 变化 的。 你 像 在 alex night 出现 之前， 我们 事实上 是 有 大量 的 图片 的， 但 那时候 是 用不上 的。 就是我 用 这些 数据 去 训练， 我也 不能 去 收敛， 为什么？ 因为我 的 算法 没有 到， 就 没有 alex net 这样的 训练 算法 出现。 就是我 刚才 说 结合 这种 深度 的 神经网络 生成 的 机器学习 的 算法。

Transformer 的 主要 贡献 是什么？ 对， transformer 就是 第二步 了。 Transformer 就是说 他 能把 刚才 说 的 这些 语言 的 数据 能够 训练 进去。 然后 生成 出来 的 这样的 一个 语言 处理 的 模型 的 这个 能力， 超过 了 我 之前 的 所有的 自然 源 处理 的 这些 算法。

所以 其实 transformer 它是 替代 自然语言 的， 把 传统 的 基于 自然语言 的 这种 robed 的 白盒 模型 替换成 了 黑盒 模式。 对它 就 其实 它是 产生 了 一个 这样 有意义 的 算法。

它 也是 个 算法， 它 这个 算法 就是 对于 处理 语言 是 最有 能力 的， 你可以 这么 理解。 当然 传送 也 至少 经历 两个 阶段。 一个 第一个 阶段 叫 bert， 它 其实 是一个 encode only 的， 然后 到了 GPT 是个 decode only 的。 其实 传送 的 也有 两个 阶段， 到了 decode only 其实 又 打开 了 一层。 在 bird 这个 阶段， 它 其实 skinning law 也是 到了 一个 瓶颈 了。 其实我 这些 redit wikipedia 其实 都 有的。 但是 在 bird 这个 技术路线 的 时候， 其实我 这些 数据 也 不是 都 有用的。 所以 回到 刚才 红军 说 的 这个， 其实 有用 数据 这个 词 也是 一个 在 动态 的， 就是 很多 数据 我们 今天 看到 的 实际上 是 又是 没用 的， 所以 数据 永远是 不会 枯竭 的这 是我的 一个 理论。

数据 其实 都在 那儿， 只不过 刚 开始 你 都 用不上。 但是 GPT 出来 以后， 就 把 所有 这些 V P 都能 用上。 电子书， 这是 第一次， 之前 也 用不上， C N A 肯定 是 用不上 这些 数据 的。 他 也 用不上 这些 数， 不是 用不上， 就是 把 它 都 灌进去 之后 训练 出来 的 模型 最后 并 不能 完全 收敛。

所以 它是 看 你的 算法 怎么样。 就是 数据 是 依赖于 你 背后 的 一整套 的 算法 的 算法 来 定义 我需要 什么样 的 数据 跟 这些 数据 需要 什么样 的 标签。 打 标签 也很 重要 对不对？ 对。

所以 它 在 语言 里面， 它 你可以 理解 成 它是 一个 自 监督 或者 自表。 因为 语言 等 于是。

前后 在 互相 飙 签字。

所以 图像 是 需要 标签。 对对对， 但 现在 vision transformer 其实 把 图像 也 试图 语言 化， 就是 把 它 也 向 量化， 也 利用 图像 内部 的 这些 语义 去 训练。 这是 它的 一个 方向。 但是 这 还是 一个 尝试， 这 还是 语言 是 训练 是 最 容易 去 scale e 的， 它是 最 符合 scale。 但是 这个 中间 其实 你看 我 刚才 就 提到， 包括 像 腾讯 这些， 他们 有 很多 这种 数据。 其实 现在 很多 数据 并没有 完全 都能 用上， 这 数据 其实 还是 有 很大 的 空间 的。 有用 数据 的 范畴 和 定义 实际上 还在 扩展， 但 这个 扩展 的 过程 就 需要你 对 算法 的 一个 更进一步 的 迭代。

对， 翟 老师 你 觉得 什么样 算 有用的 数据？ 你们 正好 是 做 数据 抓取 的对。

反正 我 刚刚 听 JoNathan 讲， 我也 在 想， 我是 很 同意 数据 和 application 这 两层 的。 因为 人工智能 说白了 就是 和人 要 很 接近。 这个 是 和 之前 的 上 一代 A I 是 不一样的， 本 代 A I 整个 核心 就 跟人 会 很 像， 他的 写 出来 东西。 整个 思维 什么的， 你 会 模拟 的 非常 像。

那你 就 想 咱们 人 上网 干什么？ 咱们 人 上网 用 互联网， 用 网页。 其实 所有 东西 到 最后 就 两件 事儿。 第一件 事儿 是 读， 第二件 事儿 就是 写。 读 是什么 呢？ 就是你 从 网上， 比如说 你看 信息， 听 咱们 硅谷 101的博客， 看 陈倩 的 视频。 所有 这些 东西 其实 就是 一个 事儿， 就是你 在 从 上面 把 数据 抓取 下来。

那你 第二件 事儿 你 要 做什么 呢？ 就 你 有了 这个 信息 之后， 有些人 可能 说 那 我要 去做 投资， 有些人 可能 说 我要 去 trade 某 一只 股票 也好， 或者说 买 什么 一个 产品， 或者说 我要 去 点 一个 button， click 一个 键。 这是什么 呢？ 这 你 就可以 把 它 理解 成 一个 应用层， 它 其实 就 在写 数据 这 一块儿 就是 获取 的 一个 过程。 这些 大量 的 数据 就像 张总 说 数据 是 在那里 的。 但是 对于 很多 他 要是 做 vertical 就是 垂直 领域 的 模型， 或者 垂直 领域 应用 的 时候， 他 其实 这个 数据 是 获取 非常 困难 的。 因为 这些 所有的 互联网 上 的 沧海 一般 的 数据， 打从 有 互联网 那年 开启， 这 东西 就是 给 咱 人 去 用 的。 所以 当 今天 的 机器 去来 学习 它的 时候， 其实 是 有 好多 限制 的。 因为 网上 的 每一个 网站， 它 都 是一个 护城河。

基本上 比如 有 哪些 限制， 它 会 反 抓取 还是 怎么样。

就是 反 抓取 是一个 最 基本 的。 但是 你 想 当 一个 机器 去 想 获取 某 一个 网页 的 信息， 也就是 数据 的 时候， 它 需要 A P I 它 需要 一个 A P I call 才能 去 获得 这个 网页 上 的 数据 OK， 那 他 没有 这个 A P I call 的话， 就像 你说的 红星 我要 去做 一个 写 一个 script， 去 抓取 这个 网页 上 的 数据。 但 这个 script 是 最 费 人的， 写 这个 东西 是一个 非常 累 的， 然后 你 获取 前端 的 就 网页 上 的 数据， 任何 一个 东西 都是 非常 麻烦 的 一件 事儿。 咱们 可以 不去 讲 技术性 的 问题， 但 这些 东西 但凡 做 爬虫 大家 都 知道， 这是 没人 愿意 干 的 活， 这 是一个 最 脏 最 累 的 活。

互联网 里面 的。

脏活 累活， 并且 是 永远是 cover 不到 所有的， 你 永远 干 不 完。 这个 就是现在 在我看来 就是 对于 很多 垂直 领域 也好， 对 什么 机器学习 也好， 它是 一个 非常 大 的 挑战。 所以 这就 回到 了 跟 JoNathan 说 很多 做 的 application 的 公司， 他们的 其实 数据 差不多 的。 他 没有 什么 更 特别的 一个 数据 跟 这个 大公司 比。 因为 现在 大家 获取 的 数据 的 方式 是 非常 有限 的， 是 基于 上 一代 的 时候 人们 获取数据 的 方式 来 获取 的。 这个 是 现在 的 一个 很大 的 阻碍。 所以 我们 其实 在 解决 的 是 这样 一个 问题。

对， 这个 非常 好。 从 投资人 角度， kiss 做 的 这件 事情， 我们 其实 都会 放在 这个 叫 infer 这个 层面。 因为 你们 其实 也会 在 support 其他 的 这些 应用 公司。

其实 因为我 现在 问 所有 应用 公司， 我 这 几个 问题。 第一个 就是你 有没有 数据。 第二点 数据 怎么 获取， 怎么 抽取， 怎么 清洗？ 这 其实 每一步 都是 非常 的 昂贵 复杂 的， 就是你 肯定 要 用 大量 的 工具。 当然 很多 现在 很多 公司 强 一点， 比如 open I 它是 有一套 数据 在 的 团队， 对 他每 一件事 都是 可能 一个 巨大 的 团队 去做 的。 大家 都 知道 open I 可能 随随便便 获取， 最后 整出 了 一套 数据 的 成本 都 是在 几 亿美金 这么 一个 量级 的 成本。 这 里面 包括 他的 团队 的 开销 和 他的 所有 这些 工具 的 开销。

对， 就是 很多 公司 现在 的话 小 公司 商业化 之所以 很难， 是因为 他 没有 什么 一些 特别的 数据。 像 刚才 JoNathan 讲 的， 他 很多 的 数据 也都 是 同类 的 数据。 他 顶多 就是 会 从 爬虫 的 爬 一些 一大块 的 非 结构化 数据， 然后 扔给 这个 语言 模型。 然后 剩下 的 就 还是 做 prompt 来 让 语言 模型 把 这些 东西 做得 更好。

技术含量 实话 讲 都是 很低 的， 它的 整个 上面 相当于 它 底下 那个 饺子， 我们 包 个 饺子， 饺子馅 儿 全都 是 模型。 那 上面 的话 我 包 个 皮儿 就是 特 薄， 那 整个 这个 东西 这 皮儿 其实 没什么 价值， 然后 这个 完全 这 现 拌 的 不 好吃 了， 但是 馅儿 有 别人 的， 你 就 播 个 皮儿， 这个 价值 是 非常低 的。 所以 基本 现在 是 这样 一个 情况。

当然 除非 短期 有 一些 做 的 比较 好的， 短期 商业化 做 的 好的， 它 解决 的 是个 什么 问题 呢？ 就是 A I 或者 语言 模型， 它 解决 的 问题是 生产 效率 的 一个 问题。 这些 现在 短期内 很多。

举 个 例子 有点 抽象。

语言 模型 解决 的 是 生产 效率， 它 其实 在 现在 阶段 下， 它 并没有 取代 所有人 的 能力， 但 它是 大大提高 了 人的 生产力。 对， 所以说 语言 模型 是在 解决 的 是 生产 效率。

其实 互联网 的 本质 也是 解决 效率 问题。

都是 叫 生产力 工具。

就是 这个 意思。 但是 现在 大家 很多 做 这个 的， 因为 尤其是 最 开始 你 去 拿 语言 模型 做 个 东西， 这个 一看 就是 做 个 demo， 尤其是 都 好 牛， 感觉 好 了不起。 那 大家 就 误会 了， 就是 有点 把 这个 生产 效率 就 误解 成 这就是 全部。 其实 不是 全部 的， 你 人 还是 要 解决 的 是 价值 问题， A I 没有 办法 解决 你的 这个 价值 问题。 就是 所谓 的 产品 在 市场上 的 一个 定位 也好， 这个 产品 的 价值 在哪里？ 这个 东西 是人 来 定位 的。 但是 语言 模型 给 人 造成 了 一个 幻觉， 让人 以为 说 它 可以 取代 所有的 东西。 所以 很多 的 产品 它 其实 就是。

所以 你 觉得 产品 方向 很 重要。 这个 产品 到底 是 提升 你的 效率 还是 取代 人？ 这 可能 是 根本上 的 两种 产品。

你 用 语言 模型 的 时候， 你 可能 在 最 开始 的 很 长时间 内， 你 会 认为 它 可以 取代 人， 这是 语言 模型 给 很多人 造成 的 幻觉。 也就 像 你还记得吗 去年 不 前年 有 个 很 有名 的 事儿， 一个 谷歌 的 工程师， 他 当时 还 闹 了 很大 一个 事儿。 他 认为是 谷歌 那个 语言 模型 可以 是个 真人。 他在 跟 这个 语言 模型 在 沟通 的 时候， 产生 了 这样的 一个 认知， 说 这是我 在 跟 真人 对话。 但 那会儿 还 跟 谷歌 闹 出了 很多 的 纠纷。 所以说 这个 就在 你 最 开始 使用 的 时候， 你 会 认为 它是 万能 的， 它 可以 解决 好多好多 你 解决不了 的 问题。 然后 你 就 把 它 看到 的 这个 点， 你 会 把 它 以为 是一个 面， 然后 把 它 推广 到 一个 范式 上。 你说 这个 都 可以 做。

其实 不能 的。 对， 你们 觉得 在 这 一轮 的 A I 创业 中有 哪些 公司 是 做 的 非常 好的， 或者 现在 是 非常 赚钱 的？

美国 这边 当然 比较 典型 的 像 perplexity 这种 其实 是 比较 有 希望。 其实 是 它 从 某种程度 上 最 符合 我 刚才 说 的 这个 定义。

popular. 它的 底层 是 自己的 模型。

还是 开始 建立 自己 其他 模式？ 刚 开始 并不是， 所以 我的 总体 定义 是 说有 底座 做 潜力 和 底座 能力 的 应用 公司。 因为 它是 demand 背景， 所以 他是 有 这个 思维 的。 就是我 从 各种 侧面 渠道 就 知道， 创始人 其实 还是 在 跟 各种 做 底座 模型 的 人 去做 很多 的 深入 的 交流， 包括 迪曼 自身， 因为 它 本身 就是 个 背景， 所以 他们是 符合 这个 他 可以 有 几个 step。

他 刚 开始 肯定 也 还是 用， 刚 开始 甚至 就是 套 个 壳 对 吧？ 我 就 有点像 个 GPT s 的， 就是我 直接 用 V P I call 做 些 rag 对 吧？ R A G 然后 开始 做 微调。 但 我想 他是 到了 一个 层面， 一定 会 自己 做。 因为 again 他是 要 自己 不断 有 自己的 这个 数据 的， 叫 coast data， 就是 私有 数据。 他 一旦 不断 的 要 积累 自己 私有 数据 跟 用户 的 这些， 就 他 可以 不用 这个 数据 再去 做 微调。 但是 他 同时 他 也 应该 把 这些 数据 去 生成 自己的 一个 底座， 这 是我的 一个 观点。

我 其实 比较 好奇， 张森 就是 你看 relaxation 他在 做 相当于 一个 检索 吗？ 那 和 google 比如说 他 要 下场 做 同样 的 东西， 或者说 microsoft 用 下场 做 同样 的 东西 比 的话。

对， 就是 回到 刚才 那 两条线。 我 作为 一个 A I 原生 的 一个 应用 公司， 其实 我有两个 角色。 第一个 我是 互联网产品 就 做 的 非常 的 好在 这个 层面 其实 很多 创业 公司 甚至 是 大于 这些 模型 公司？ 或者 大厂 的对， 因为 你的 视角 不一样， 很多 确实 从 产品 介入 刚 开始 可能 我就是 真的 就是 套 个 壳儿。 但是 我的 易用性， 我的 交互 流畅性 非常 的 好。 所以 用户 一下 就 上来 了， 但 这个 时候 不 表明 你 成功了， 就像 最早 jasper 这种， 它 其实 为什么 当时 比 G P U 的 好， 其实 它 还是 产品设计 确实 会 更优。 但是 你 现在 就要 思考问题， 你的 护城河 在哪里？ 我 最早 跟 大部分 的 GPT s， 其实我 花了 蛮 多 时间 去 聊 这边 的 GPT s 上 的 很多 还 算是 比较 成功 的 公司， 发现 他们 都 不太 考虑 私有 数据。

有 比较 成功 的 公司 吗？

应该 是 没有。 那个 时候 还是 最 火 的 时候。

就 年初 的 你 聊 了 哪些 公司。

我 就 不 具体 说 了， 但 当时 我就是 特别 清晰 的 问 这个 问题， 说 你 有没有 私有 数据。 他 首先 他 愣 了 很久， 然后 他 就说 我 为什么 需要 自有 数据 呢？ 我们 没有 数据。 然后 我 第二句 话说 我 那 你会不会 担忧 你的 护城河？

这 我 当时 直接 问 definite bly， 他 就是我 的 图层， 就是我 的 产品设计， 这个 在 互联网 年代 是 非常 通用 的 一个 思维。 为什么 互联网 的 应用 公司 能够 比 大厂 厉害？ 其实 很多 时候 是 在产品 层面， 他在 产品设计 上面 他 能够 走。 这就是 大家 说 的 这个 产品 经理， 尤其是 垂直 领域 的 这些， 他 肯定 比做 底座 或者 甚至 大厂 的 人， 他 都有 这样的 一个 优先 性吧。 但是 你 现在 就要 详细 考虑 你的。 护城河 的 问题 了。 对， 在 这个 时候 你 就 必须 得 去 深 扎 这个 事情。

所以 你 觉得 其实 在 大 模型 时代 开始 以 产品 切入 可以， 但是 如果你 要 找 护城河 的话， 你 最终 还是 需要 有 自己的 私有 数据。

加上 底层 模型 的 能力。 对， 就是你 私有 数据 即便 就 我 一向 的 观点 就是你 即便 只 做 rag 或者 微调， 你 对 底层 模型 也是 要有 相当 的 熟悉 度 的， 最好 是 找 底层 模型 的 人。

对 popularity 有 吗？

他在 做自己 的 底层 慢 的那 这个 可能 是 他的 商业 机密 了。 但是 我 从 侧面 去 了解， 但是 这个 我们 后续 可能。

可以 去 试图 去。

我 觉得 他 一定 会 再 往 底座 去做。 但是 这个 他 可以 有 多种 方法， 你可以 有 开源 底座 去做 一些 这种 继续 训练， 你可以 有 不同 的 步骤。 就是 因为你 要 从 成本 上 考虑， 你 当时 一 上来 就 全都 重新 训练， 但 这个 成本 太高了。 那 你可以 做 叫 继续 continue 训练 继续 训练， 但 这个 难度 也 其实 也是 不 低 的， 但是 可能 比 微调 要 更难 一些。 但 即便 是 微调， 微调 跟 据 训练， 有的 时候 它的 中间 的 界限 也 开始 在 模糊， 就是 他们的 成本， 而且 同时 还有 风险， 就是说 你 做 不好 可能 效果 并不一定 好。 所以 这个 都是 他的 成本 都要 计算 进去， 但 大方向 一定 是 往 这 走， 这就是 你的 护城河。

你 要么 就 不要 有 数据， 就像 刚才 说 的 P P S 那些 人都 不要 有 数据， 但 很快 G P S 也都 没有了。 就是你 可能 会有 一段时间 的 商业化， 所以 有的 时候 我们 看 商业化 有时候 也会 有 一定 的 误区。 他 可能 甚至 一段时间 还 用户 好像 也 还 不错， 还 甚至 能够 有 一些 收入。 但 实际上 他 只要 没有 护城河 的 情况下， 要么 就是 被 底座 给 覆盖 掉了， 就 底座 的 更新 也能 实现 同样 的 功能， 对 吧？ 要么 就是 他 自己 不 能够 持续的 迭代 下去 了。

但是 我是 在 想， 以 这种 创业 公司 跟 应用 类 的 模型 的 迭代， 他 怎么能 卷 的 过。 你看 像 OpenAI 这种 动辄 百亿美元 融资 的 公司。 因为你 做 底层 模型， 你是 自己 需要 买 卡， 然后 需要 自己 去 训练 的那 如果说 一个 模型 它 真的 训练 的 越来越大， 它的 智能 真的 涌现 了 这些 创业 公司， 他 再去 训练 底层 模型， 它的 意义 何在 呢？

所以 就是 几种 方法， 一种 就 可能 说 你 一个 步骤 有点像 baby step， 等于 你的 卡 会越来越 多， 但是 可能 你 还是 得 不断 的， 这个 也 你可以 理解 这个 scaling law， 因为我 数据 越来越 多了， 数据 越来越多。 理论上 我 最后的 成品 的 最后 输出 的 这个 模型 的 参 数量 或 知道 他 能力， 参 数量 可能 不一定 是一个 K P I， 但是 我的 能力 一定 是 应该 是 越来越高 的。 但 这个 对于 我 刚才 的 三要素 其实 都 得 在 里边。 我 数据 一定 是 越来越多， 我 能力 越来越 强我 对 算 力 要求 肯定 也是 越来越高。 这个 你是 离不开 的， 这个 你是 可以 通过 步骤 去 实现 的。

第二个 就是说 你 聚焦， 就是你 跟 open I 的 不同点， 包括 跟 国内 所有 比如 这 六家 模型 六 小龙 的 不同点 是 说 所有 做 底座 模型 的 人都 有 我 刚才 说 的 这么 一个 做 平台 的 诉求。 所以 他 也 在 做 应用 的 同时， 他在 还是 想说 我要 赋能 所有的 上层 应用， 这样 一下 就 把 它 给 摊 平 了。 所以 他 对 算 力 的 这个 要求， 因为他 也要 对 所有的 应用 场景 现在 来了 一个 教育 行 的 人 找 他来了 一个 制造业 的 人 或者 医疗 行业 的 人 找 他， 都 得 跟 他 去 要 能够 service， 就是 能够 服务 这些 人， 这个 是 它 跟 你的 最大 的 区别， 就是你 你 能够 放弃 作为 一个 通用 平台 的 诉求。 就 聚焦 在 一个 比如说 A I 搜索， 就是 一个 垂直 的 一个 应用， 端 到 端的。 我 把 这件 一件 事情 做好， 我 整个 底座 模型 的 所有的 每一件 事情 都是 为了 这个， 我不 为了 去 赋能， 不是 作为 下一个 I O S 的 这个 心态 出现了。 这个 时候 你 其实 你 会 简单 很多。 这个 在 互联网 时代 其实 是 有 这么 一个 时期 的。 互联网 在 浏览器 出现 之前， 其实 我们 那个 年纪 的 人都 我们 用 很多 叫 F T P。

对， 暴露 年纪 了。

没事， 继续。 对 til net。 对， 因为 最早 那时候 没有 网页， 其实 那时候 你 有 很多 内容， 就 比如 我们在 学校 里 有 很多 内容， 现在 后来 就是我 就 放在 一个 网页 上， 你 就 能够 访问 了。 但 那时 我们会 放 那个 F T P 服务器 上面。

但是 F T P 这个 事情， 其实 它是 一个 端 到 端的 事情。 因为 它 现在没有 像 浏览器 这么 一个 平台， 它 其实 挺 难 用 的。 但是 你 做 F T B 的 人， 你 肯定 是 前后 都 得 去 搭 的。 这个 就是我 说 的 一个 叫 垂直 整合 的 这么 一个 事情。 这个 有点像 当时 的 那个年代， 就 有点像 这个 浏览器 出现 的 这个 时候。 所以 你 要 做 这么 一个 应用， 就是 很遗憾， 你 可能 你 门槛 就得 这么 高。 但 这也是 你 今天 的 一个 护 综合， 他 其实 是一个 相互 的 作用。 你 没有 这个 门槛， 你 也没有 这 护城河。

对， 就 还是 有点 回到 了 数据。 什么 护城河？ 还是 你 垂直 领域 的 数据， 你的 数据 的 优秀 程度， 你的 专业 程度， 你的 精专 程度， 有点像 大 语言 模型。 是个 推土机， 那 我 其实 就 想 凿 个 钉子， 难道 我 拿 铲车 推土机 去 凿 它 吗？ 也可以， 也能 弄 进去， 但是 何必？ 其实我 拿 个 小 锤子 嘣 一下 就 进去 了， 那 我 就 用 小 锤子 不就 得了 吗？ 是 这么个 概念。

对， kiss 你 有 觉得 比较 好的 案例， 包括 是 商业化 方向 的 案例 给 大家 分享 吗？

我 感觉 商业化 其实 美国 本土 还是 蛮 多 的。 比如说 现在 的 有 几个 做 coding 的， coding 最近 这 几个 月 还是 蛮 火 的 一个。 当然 这个 也 涉及到 它 会有 多大 的 护城河 这个 问题。 比如说 github 要 去做 的话 会 怎么， 就是 github 我家 也有， 那 这个 东西 开会 到底 怎么样？

还有一个 特别 火 的 coding 的 应用 叫 啥？ 就是 之前 一直。

在 排 预约 的 有一个 日报。

就是 那个 见光死， 那个 什么 叫叫 什么 coding.

现在 特别 活跃， 大概 有 快 十家 都 到 10亿美金 了， 应该 非常 多。 Augment magic.

前段 有一个 挺 火 的， 之前 做 demo 做 的 巨好， 然后 后来 一 正儿 8经release 出来， 然后 那 是对 devin 对 devin 对对对， vd 就是 见光死 的对， 就 大 模型 时代 见光死。 Demo 最好 看做 完 之后 应用层 一看 完全 用不了 的 东西 太多 了。

Coding 也是 我说 的 这个 分界 不是 那么 清晰。 其实我 也可以 用 GPT， 其实 现在 很多 码农 就 直接 用 GPT， 就 已经 帮 他在 编程 了。 所以 他 就是 我们 说 你 怎么 去 创造 这么 一个 切分， 一个 分界。 这个 是 所有 做 coding 应用 的 这些 人的 一个。 他 很多 时候 产品 肯定 是 做 的 很 好的。 但是 你 要 实现 这个 scaling law， 我 coding 这个 能力 要 不断 的 scale。 我 也要 用 我的 私有 数据 再去 训练 的 时候， 我 怎么 去 跟 底座 的 这些 人 去 竞争， 去做 长期 的 竞争。

我 现在 如果 他们 要 问我 对 他们的 建议， 就是说 你 得 拥有 自己的 底座。 如果你 一直 是用 所有 第三方 的 底座 的话， 你的 风险 永远是 大 的。 就是说 他 一定 也 在 不断 的 在 训练， 你 跟 他 要 有一个 division.

是你 觉得 还有 其他 方向 吗？

其实 他 现在 做 的 好 很多 可能 也都 是 商业化 做 的 比较 好。 也就是说 他 对 这个 价值 或者 在 这个 方面 上 某 一个点 抓 的 比较 准的， 像 什么 harvey， legal 的 这样的 一些 东西。

它是 一个 处理 法律 方向 的 大 模型。

对 大 模型 应用 对 也 不知道 多好 用 或者 多难 用， 但是 就能 讲 好故事， 这也是 一个 能力。 如果 要 从 一个 真的 一个 大规模 的 应用 角度 来说， 其实 就 回到 张 德森 讲 的 这个 还是 很 遥远的 了。 因为我 自己 总 感觉 在 整个 这个 问题 回到 核心 上 还是 太早。 整个 拿 新的 一个 生产 效率 改变 的 工具 来解决 什么 问题， 这个 应该 是人 来解决 的。 而 人 现在 还没有 完全 去 因为 这个 工具 长 什么样， 怎么 回事儿 什么的， 很多 东西 还没有 在 摸索 清楚 前， 人们 怎么用 它， 其实 是 很多 误会 的。 大家 是 把 生产工具， 很多人 就 当成 了 生产力。 比如说 这个 是一个 比较 范式， 我 认为 现在 很多 的 一个 情况。

如果 再 补充 一些， 就是我 自己 作为 一个 音频 工作者， 我 感受到 的 比较 好的 产品 或者 案例 的话。 其实我 刚刚 有 提到 notebook L M， 我 觉得 用 它 来做 一个 长 文本 的 分析， 它 还是 一个 蛮 好用 的 应用 的。 但是 它 其实 是 谷歌 做 的， 对他 也不 算是 创业 公司。

另外 有 一家 创业 公司， 就是我 自己 非常 喜欢 的 叫做 eleven labs。 他是 可以 我 输 一段 文字 进去， 他 有 自己的 一些 英语 的 配音， 他 可以 把 这个 配音 配 的 非常 好， 或者 是我的 音频。 有时候 我们 说错 了 一些 数据 需要 补录 的 时候， 他 不用 嘉宾 现场 到场 补录， 他 可以 A I 生成， 而且 可能 会 比 你们 补 的 那个 效果 还要 好。 是因为 大家 每次 说话的 生产 环境 不一样， 他的 这个 补录 是 比 真人 更加 无痕 的。 但是 在 整个 的 中文 方面 表现 还 不是 特别 好。 其实我 觉得 这个 可能 也是 他 自己的 数据 跟 他的 产品， 没有 专门 针对 中文 产品 去做 特别的 优化。 按理说 这 其实 不是 一个 特别 难 的 事情， 但是 他 没有 做 特别的 优化。 其实我 看 eleven labs 这样的 公司 在 融资 市场上 的 表现 也 还是 非常 优秀 的， 应该 也 快 到了 独角兽 级别 了。

还有 像 之前 我们在 节目 中 分享 过 的 sunna 文字 生成 音乐， 他是 一个 音乐 模型， 其实 他 也是 做了 自己的 模型 层。 我 觉得 至少 是从 融资 侧 来看， 反正 我们在 聊 完 以后， 他 也是 过 亿美元 的 估值， 然后 也 融 了 很多 钱。 表现 还是 不错 的， 这是我 看到 的 一些 细分 场景。

对， 这 两家 都 属于 跨 模态， 就 多 模态 模态 多 模态 的 这个 产品。 它 我的 印象 或者 我的 预测， 它 一定 也是 要 往 底座 去去 延展 的。

我 觉 他们 其实 是 有 底座 的， 他们 不仅仅是 有 底座， 而且 其实 他 自己 在 这个 声音 的 处理 上， 他 自己是 有 自己的 独特 优势 在 的对， 它是 有 一些 paper 的对。

因为 多模 type 反而 不像 语言 模型。 因为 语言 模型 已经 有 很 好的 第三方 底座 了， 你 基本上 就可以 用 它 了。 但 多 模态 很多 时候 你 其实 是要 做。 因为你 如果你 只用 S D 使用 类似 这种 一些 开源， 其实 你 像 没 journey 肯定 是 有 自己的 底座 的。 所以 他们 这些 公司 其实 也 倒过来 要求 他们 得 同时 他 也要 有 训练 数据， 然后 用 自己的 或者说 半 字眼 的 这样的 底座 去 实现 它的 最后 呈现 的 这个 模型 的 功能。 我 觉得 这个 其实 可能 是 多 模态。 从 这个 角度 讲， 多 模态 就 更 符合 我 刚才 说 的， 因为他 你 没有 一个 可以 利用 的 第三方 的 底座， 你 反而 是 更 会 需要 自己 去做 很多 事情。

所以 现在 整个 市场上 会不会 多 模态 的 表现 会 更好 一点。

对， 这个 也是 我的 一个 预估。 当然 他 也是 个 双刃剑， 他 大不了 要求 你 要 这么 做， 所以 很多人都 会 先 就 往 这条路 上去 走。 这样 你的 护城河 从 第一天 开始 应该 是 有的， 而 不是 像 在 纯 语言 模型 里面， 你可以 刚 开始 就 没有 护城河。 所以 从 冷启动 的 角度 来讲， 纯 语言 模型 可能 更快 一些。 我 直接 调 T P T， 我 就能 出来 一个 很 好的 产品 了。 但是 你 要在 多 模态 的 领域， 你 肯定 是要 先 做出 一些 东西 的。 所以 他 其实 双刃剑， 但是 我 个人 也 其实 也是 比较 看好 多 模态 的。 这个 多 模态 甚至 包括 跨 到 所谓 的 硬件 模块， 就现在 所谓 的 聚 生 智能， 它 其实 也是 一个 广义 的 多 模态。

这些 创业 公司 如果 能够 把 硬件 数据 跟 robotics transformer， R T 就是 谷歌 在 尝试 的 这些 事情。 能把 语言 和 硬件 的 传感器 数据 和 最后 这个 机械 执行 的 数据 能够 打通 的话， 它 不 一定要 完全 的 端 到 端， 让 他们 能够 从 训练 层 就能 打通 的话， 我 觉得 这个 他 本身 也是 多模 赛 的 一种 体现。 我 个人 觉得 还是 有 蛮 大 空间 的对。

其实 归根到底 就 还是 数据 的 独特性， 数据 的 准确性、 数据 的 优势 了。 还是 刚才 张 德森 讲 的 整个 核心。 反正 我自己 跟 这边 的 几家 比较 大 的 美国 本土 的 最大 几家 V C 什么的 聊天 的 时候 感觉 都是 这样的。 就 因为 这些 V C 他们 都有 自己的 一个 相当于 是 business Operation， 或者 是 go to market 这种 类型 的 团队。

反正 我记得 上次 在 跟 某 一家 的 负责人， 我们在 那儿 喝 东西 的 时候， 我 就说 你 现在 比如说 美国 这些 大 的 企业， 接受 A I 都是 怎么样 的 一个 状态？ 他的 回答 反正 就是 吆喝声 还是 非常 多 的， 就 大家 都想 学， 都 想知道， 都在 讨论。 但是 真正 能 落地 的 东西 当然 还是 非常少 的。 所以 整个 这 一块儿 这 里面， 你看 大家 做 的 东西， 其实 都是 关于 A I 的 咨询。 A I 的 rag 这 一块 是 上一年 就 过去 这 两个 季度 是 最 火 的 这些 东西。 因为 这个 东西 相当于 是我 要是 一个 公司 的 I T 负责人， 我 肯定 要 考虑 我的 公司 接下来 整个 A I 方面 我要 做什么？ 我 肯定 要 花钱， 怎么办 呢？ 那 我 先 做什么， 我 先 不能 拍板， 因为 可能 这 东西 我也不知道 该 做什么， 但是 我 最起码 可以 先 把 这个 架子 搭 起来， 架子 的话 就是 咨询 A I 方面 的 这些 讨论。

所以 在 美国 像 艾森 哲 这样 最大 的 这种 科技类 的 咨询公司， 光 咨询 类 它是 赚 的 最多 的。 他 第一个 季度 的话， 它 就是 6亿美元 的 一个 营收。 第二个 季度 这个 营收 从 6亿美金 涨 到了 9亿美金。

我 之前 跟 一 另外 一家 就 很大 的 这边 的 V C 去 聊天 的 时候， 他 就说 当然 他说 的 是 英文 了， 但 他 意思 就是说， 你说 咱们 这 忙活 什么 呢？ 忙活 这么 半天， 他 居然 说 还有 嘴皮子 做 两个 rag。 这个 9亿美金 拿到 手 了。

就是这样 一个 现状。 你 有用 过 艾森 哲 的 服务 吗？

那 我们 用 不 起 的， 这个 太贵 了。

应该 钱 平均 一个 项目。

这个 真 很难 讲， 因为 他 就是 做 资料， 有 像 迈克 麦肯锡 大 项目。 对， 就 大 项目 小， 麦肯锡 一样 也有 很多。 对， 就是 一个 项目 就可以 非常 多 的。 但是 总而言之， 就 这块 儿 你可以 看一下 不同 这些 公司 的 财报 什么的。 这 几家 公司 都是 过去 一年 来 增长 最多 的 一块 项目。

其实 恰恰 就是我 特别 想 补充 的， 咨询公司 在 今天 的 这个 地位， 其实 就是 符合 我 刚才 说 的 这个 理论 的。 因为 我们 回头看 那个 互联网 时代， 互联网 时代 咨询公司 埃森哲 也是 存在 的。 就是我 一定 有 很多 公司 说 我 今天 要 做 数字化， 我要 开始 做 网站 了， 对 吧？ 我要 做 互联网 化， 我 也有 这样的 一个 门槛 要 越过。 很多 公司 也会 去 找 外包， 找 咨询公司 进来 帮 我 把 这个 事情 做了。

咨询公司 他们 提供 的 服务 的 核心 是什么？ 他 真的 会 帮你 把 它 搭 起来， 还是 说 他 只是 动动。

那 这个 就 看 你的 具体 的 和 那你 简单 也就是 他 把 你 整个 搭 起来。 就 比如说 A I 年代 就说 我 做 V C， 我 作为 一个 客户， 就是我 现在 要 有一个 我 内部 的 我自己 的 GPT， 叫做 投资 GPT。 就是 上面 问我 一些 投资 的 问题， 你 都能 回答， 这个 GPT 实现 不了。 因为我 有 一堆 我 投资 的 这些 私有 数据， 但是 我不知道 怎么 去 搭 这个 投资 gbt。 这时 我 就可以 找 咨询公司， 实际上 我们 现在 就在 做， 但是 我不 透露 了。 很多 投资公司 也 在 做 这个 事情， 就 找 一个 我们 不会 找 艾森 哲 这么 大 的， 但是 有 很多 这些。 但是 在 互联网 时代， 这个 事情 就 比如说 我 今天 要 做 一个 我自己 的 一个 A P P， 我 也可以 对不对？ 或者 我要 做 个 什么 我的 网站。 但是 在 互联网 时代， 如果你 对比， 整个 商业化 的 版图 里边， 一种 是 咨询公司 不 参与 的 这个 收入 和 咨询公司 来做 的 这个 收入， 这 两边 是 完全 不成比例 的。 基本上 全 是 独立 的 互联网公司 可以 自己 来 实现 这个 事情。

你是 说 咨询公司 参与 的 收入 更多。

咨询公司 参与 的 收入额 其实 只占 很小 一部分， 就 周三 者 也 很大。 但是 互联网 的 规模 那么 大， 你 把 埃森哲、 马 卡西 东都 加在一起， 所有 外包公司 加在一起， 其实 只占 其中 很小 一部分， 是 为什么呢？ 就是 因为我 刚才 说 的 中间 有一个 O S 所以说 他 把 这个 门槛 大大降低 了， 大部分 公司 都能 自己 做 这个 事情 了。 或者 大部分 的 应用， 你 想做 个 应用 的话， 你 其实 可以 自己 很快 弄 一个 团队。

或者说 你 即便 找 咨询公司 做 这些 事情， 它的 成本 也很 低。 以前 是 有 报价 的， 我 一下 记不清 楚 了。 就是 做 一个 简单 的 A P P 可能 就 30万人民币 左右， 几 万美金 可能 就能 做出来 非常低 的。 但 在 今天 这个 A I 的 年代， 咨询 的 成本 是 很 高高的， 而且 很多人都 会有 咨询 的 原因 是什么？ 就是 因为 中间 有一个 很高 的 门槛， 就是你 做 这个 事情 其实 是 不容易 的。 我 想做 个 A P P 或者说 我公司 内部 我 作为 一个 客户， 我想 用 底座 大 模型 这个 工具， 我 一下子 用不上， 我 手上 有 这么 多 的 数据， 而且 这个 是 形成 一个 矛盾， 就是我 反而 数据 越多 我 越 头疼。

数据 多 本来 是个 好 事情， 大家 在 数据 里 都 知道 大 数据， 数据 越多越好。 但 数据 越多 首先 成本 抽取 什么？ 很 可能 就是 需要 用到 case 这样的 工具， 本身 也是 个 成本。 然后 我 抽取、 清洗、 整理 这些 都是 成本。 然后 我要 再去 训练， 我要 把 它 放到 向量 数据库 里面 做 R A G， 那 我 就 干脆 就 去 找 一个 咨询公司。 所以 艾森 哲 在 这 里面 的 他的 这个 生意 越 兴隆， 就 说明 这个 生态 越 没有 成立， 就 你 都 靠 第三方 的 交付 公司 去， 这个 实际上 是 现在 就是 我们 观察 到 的 生态 的 一个 现状。 但是 这个 其实 就 本身 是一个 阻碍， 就是 必须 得 迈过去。 大部分 的 公司 都能 我自己 不用 这种， 或者说 用 很小 的 成本。

所以 我 理解 其实 就是说 在 互联网 时代， 大家 用 艾森 哲 这 一类 的 公司 或者 移动 互联网 的 时代 帮 他们 做 一个 APP。 它 其实 这 一部分 的 比例 占 的 很小， 是因为 基础设施 比较完善。

大多数 公司 可以 自己 做对 完善， 然后 O S 也 比较 具备。

对 吧？ 但是 在 这个 A I 时代， 因为 它的 基础设施 不太 完善。 然后 比如说 每个 公司 他 要 根据 自己的 数据 去 定制 一个 自己的 模型。 现在 还是 门槛 比较高 的。

就 干了 这么 多步， 从 数据 开始 拿到 后面 的 R A G。 R A G 看上去 很 简单， 但 事实上 很多 公司 都 做 不好。 我 刚才 说 你 其实 需要 对 底座 模型 有 一定 的 理解。

所以 就是说 现在 整个 在 A I 时代， 公司 再去 搭 一个 基于 自己的 数据 的 模型， 它的 门槛 是 很高 的。 咨询公司 在 中间 扮演 了 一个 桥梁。

就是我 来 帮你 打磨。 你可以 理解 为 他 解决 了 三个 问题。 第一个 是 就是 一个 全新 的 事物 出现， 我要 做什么？

定 方向。

第二个 是 怎么做？ 第三个 是用 什么 做 工具， 就是 对， 用 什么 工具 做。 这 三个 因为 太 新 了， 说白了 就是 大家 也都 不知道， 没人 整 明白。 从 第一个 问题 到 第三个 问题， 没有人 知道 怎么 去， 或者 大公司 还没有 准备 好 怎么 去 解决 这 三个 问题。 所以 艾哲 就 出来 了， 有点像 假如 全球 突然 全都 变冷 了， 那 可能 所有 我们 东北人 都 可以 成为 艾森 哲 了。

因为 大家 都 需要 知道 说 冬天到了 我们 要 做什么， 我可以 告诉你 冬天 会 冷 到 什么 程度， 你 要 准备 什么样 的 秋衣 秋裤， 你 要 准备 好 家里 盖 打 暖气片， 你 需要 做 冬 储粮 大白菜 等等等等。 我 全都 给你 讲清楚。 因为我 作为 一个 南方人， 可能 没 经历 过 这 事儿， 你 怎么办？ 这个 就是 艾森 哲 现在 做 的 事儿。

对， 我们 就是 期望 有一天， 如果 用 你 刚才 说 的 场景， 就是 应该 出现 这么 一层， 把 所有 刚才 说 的 这些 事情 都 已经 隔离 好了。

咨询公司 可能 会 变成 中间层 吗？ 不可能。 因为 这 商业模式 上 的 根本 商业模式。

它 一定 是 叫做 项目 制 的。 它的 核心能力。

它 其实 不是 搭 框架。

对他 不需要， 他 也 不应该 这么 做， 这 不符合 它的 核心利益。 有的 时候 他 会 开发 一些 内部 的 一些 工具 去 提高 他 自己的 生产力。 就 比如 他 可能 也 用 kiss 的 这个 工具 去 帮 他他 的 核心 价值， 你可以 理解 成 还是 一个 劳力 密集型 的。 因为 它的 收费 很多 是 靠 人时 的， 就 man hour 就是 靠 人 小时 去做 去 实现 的对。

但 我 补充 一下， 有一个 变 话 会 是 为什么呢？ 因为 恰恰 就是 按照 小时 计费 的 这样的 一个 群体， 这 包括 了 咨询公司， 包括 了 律师 等等 脑力劳动 的 大量 密集型 的 行业 中。 反而 我自己 感觉到 的， 或者 开始 看到 的 一个 方向， 就是说 他们 肯定 会 来做 调整 了。 过去 他们 不会 进入 到 中间层 的， 但是 因为你 想 当 生产 效率 发生 改变 的 时候， 就是 这些 按照 小时 计费 的 脑力劳动者 们 是 很 容易 或者说 很 前沿 被 替代 的。 所以 我 见到 蛮 多几家， 就是 所谓 四大 什么 这些 人， 大家 其实 都在 担心 或者 考虑 的 都是 说 怎么样 把 以 小时 计费 的 这样 一些 脑力 的 工种 转换成 一个 中间层。 比如说 他 是不是 可以 做 一个 模型， 把 他们的 经验教训， 所有的 知识， 因为 这也是 一个 数据 点， 然后 转成 一种 小型 的 模型 或者 是一个 什么样 的 模型， 把 这个 卖出去， 而 不是 卖 人力 的 小时 费。

这 很 可以 变成 一个 垂直 场景 去 实现， 但 它 本身 也是 一个 被 颠覆 被 改造 的 一个 行业， 他 自己 也是 一个 应用， 你可以 这么 理解。 但是 我们 观察 到 从 互联网 历史上， 就是 这些 公司 它 自己 往往 很难 自己 跳出来。 就 往往 还是 需要 有一个 所谓 A I 原生 的 公司， 用 这些 新的， 你说 工具 也好， info 也好， 应用 这些 新的 模式 成为 一个 新的。 就 好像 你 原来是 一个 出租车 公司， 你可以 把 这些 类似 于 uber 这个 应用 装 在 你的 司机 和 这个， 但是 你 很难 就 变成 个 uber， 还是 需要 一个 原生 的 uber， 或者说 你 原来是 个 零售 公司， 你 很难 自己 成为 一个 amazon。 对， 我们 还是 期望 第二类 公司 会 出现， 但 事实上 历史上 看起来 也 大部分 都是 第二类 公司。 第一类 公司 就是 艾森 哲 自己 很难 变成 一个。

A I 抛 艾森 哲， 自己 杀死 艾森 哲 的 可能性 还是 很低 的。

不是 不高 的对， 也 不是 完全 没有 对。

那 从 这个 角度 讲， 因为 其实 我们 刚刚 一直 在 讨论 模型 层 的 创业。 应用层 的 创业 其实 是 存在 大量 的 中间层 的 创业 的。 比如说 像 硅谷， 我知道 有 一家 公司 叫 fireworks， 他们 其实 是在 做 整个 A I 的 frame 就是 框架。 然后 他们 跟 艾森 哲 最大 的 不同 就是 他们 其实 是 做一套 标准化 的 框架， 让 创业 公司 基于 他们的 框架 去 使用。 包括 还有 很多 在 做 基于 G P U 的 租赁， 可以在 云 上去 训练 模型。 那 从 投资 的 角度， 是不是 这个 阶段 所有 这些 做 中间 服务， 甚至 在 建设 整个 大 模型 时代 的 基础设施 的 公司， to b 的 公司， 做 服务 的 公司， 做 基础架构 的 公司 是 更有 价值 的 呢？

在 这样的 一个 阶段 是 很 有 机会 的。 就 刚才 包括 fireworks， 包括 我们 也 知道 lepton 对 吧？ 对， lab 这样的 公。 你 刚才 说 的 那个 用 G P U 应该 是 拉姆达 类似 这样的 公司。

这些 其实 包括 做 数据 的。

对， 包括 做 数据 的， 包括 T C 这样的 公司， 其实 你可以 理解， 从 我们 投资人 角度 我是 这么 看 的。 这些 我们 都 放在 基础设施 里边， 这个 是 比较 容易 去 看 这个 事情 的。 因为 基础设施 是 很 复杂 的。 如果我们 把 它 简化 一下， 就是 工具， 就 各种各样 的 工具， 你 用 各种各样 的 工具 自己 去 搭， 但是 他们 不 改变 这个 生态。 就是说 如果 按照 他们 这种， 其实 还是 不会 大大降低 应用层 的 这个 门槛。 就 用词 还是 要有 能力 去 用 这些 工具。

其实 最好 还是 底座 大 模型 把 这些 事情 都 做了。 那 当然 这个 就 变得 非常 的 叫做 交钥匙工程， 其实 open I 他们是 往 这个 方向 在 走 的， 他们 也都 在 做 所有 这些 事情。 Open I 自己 当然 他 也有 framework， 他 一定 有 framework。 刚才 包括 这些 算 力 优化 他 都要 做， 然后 云计算 公司 也要 做。

为什么 微软 跟 open I 它是 有 一定 的 绑定， 因为 阿 Z 和 open I 它是 云 资源 和 底座 模型， 所以 他们 都是 可以 理解 成 info。 但是 在 哪个 点 上 info r 基础设施 层 能够 变成 一个 操作系统， 这个 是 我们 非常 期待 的。 我 觉得 刚才 上述 这些 公司， 包括 kiss 的 公司， 我 觉得 都是 有 潜力 的。 如果你 能够 充分 的 隔离 应用层 跟 所有 底层 的 这些 细节， 让 应用层 能够 充分 的 像 个 交 钥匙 一样。

就是我 就 写 一个 网页， 我就是 做 一个 很 简单 的 一个 H T M L 的 这么 一个 编程， 我 就能 把 我的 这些 私有 数据， 把 我的 这些 内容， 把 我 以前 的 所有 这些 用户， 我自己 积累 的 用户 的 这些 data 都 能够 实现 起来。 然后 我 产生 我自己 的 一个 垂直 的 大 模型。 能够 做到 这么 一点 的话， 那 这个 生态 就会 被 打开 了。 但 在 今天 这个 生态 没有 完全 打开 的 情况下， 所有 这些 点状 的 工具 其实 都是 很 有 价值 的， 但是 风险 也 比较 大。 因为 这个 生态 还很 不清晰， 你可以 它是 整个 一个 技术 站， 整个 计算 都 不清晰 的 时候， 所以 他们 每一个 都 互相 在 重叠， 大家 都 互相 竞争， 就 每个 都 可能 会 做 对方 的 事情。 就 比如说 我 做 laptop， 我 很 可能 也要 处理 一些 数据 上 的 事情。 我要 帮 我的 用户 去做 一些 数据 上 的 抽取 也好， 清洗 也好 这样的 事情。 所以 大家 会 互相 的 重叠， 但是 可能 又 很难 找到 一个 完全 互相配合 的 这么 一个 方式。 现在 还是 处在 一个 很 早期， 刚才 那个 kiss 说 可能 你说 是 两个月 的 baby， 我 觉得 这个 比喻 特别 好， 我 觉得 就 还是 在 这么 一个 阶段。 那 一种 方法 就是说 你 就现在 的 很多 应用 公司， 就是我 就是 用 这些 工具， 我 能够 实现 我的 这个 垂直 场景， 这种 其实 今天 是 很 有 价值 的。

对你 刚刚 其实 提到 了， 在 你们 投 应用 的 时候， 其实 你 会 去 看 他的 数据， 持有 数据， 包括 他在 模型 上 的 一些 训练 的 方法。 最后 会不会 训练 到 基础 模型， 就是你 有一套 非常 完整 的 投资 逻辑。 如果你在 判断 这些 中间层 的 公司， to b 项 的 公司， 你 觉得 最 核心 的 几点 能力 抽取 出来 是什么？

这 是一个 很 好的 问题， 其实 不太 容易 回答 的 原因 就是说 因为 我们 判断 应用层 的 时候， 我们 可以 有 比较 清晰 的 几个 指标。 因为 现在 比较 清晰 的 点 就是 应用层 在 这儿， 就有 应用 公司 在 这儿。 然后 有一个 底座 模型。 底座 模型 其实我 也 把 它 放在 info 里面， 但 它是 info 里面 是 最 重要 的 一个， 就 相当于 一个 最大 的 一个 巨人 坐在 info 的 这么 一个 池子 里面。 但是 周围 会有 很多 围绕 底座 模型 的 小的 infra， 是 帮助 他 最后 能够 实现 一个 近似于 操作系统 的 这么 一个， 就是我 能够 充分 隔离 上层 跟 下层。 但 现在 的 最大 的 难点 就在于 说 周围 这 一圈 小的 info， 如何 跟 中间 这个 最大 的 底座 模型 的 这个 info 去 互动， 去 共生。 因为他 也 在 挪移， 他 可能 会 把 你 挤掉， 但是 你 又 需要 它， 但是 很多 时候 你 可能 也是 需要 把 它的 中间 切下来 一块儿。 所以 这个 就 造成 一个 不是 那么 容易 判断。

就 比如说 freeman k 就是 做 框架， 框架 是 里面 很 重要 的 一个 事情。 但 它 也是 会 处在 一个 比较 微妙 的 一个 有 能力 的 应用 中， 我 肯定 是 自己 做 框架 了。 就 比如 你可以 看到 基本 大部分 的 这些 自己 做 框架， 但是 我 一旦 没有 能力， 要么 就 用 艾森 哲 了， 对 吧？ 艾森 哲 可以 自己 帮你 去 搭 一个 这样的 东西， 要么 就是说 我 很多 时候 我 就 我 也可以 依赖 底座 提供 的， 或者 是 云 厂商 提供 的。 所以 你看 这么 多 人都 在 这个 池子 里边， 所以 它 产生 的 这个 点 是 会 非常 的 复杂。

对于 做 英 孚 尔 的 人的 考验 其实 是 会 更高。 但是 英特尔 在 今天 可能 反而 是 最有 希望 的， 因为 上 下层 都 没有 那么 清晰。 所以 为什么 你看 很多人 去 投 底座 模型， 其实 投 底座 的 它 也是 我 感觉 说 它是 一个 大 的 info， 然后 抵住 我们 一 周边 的 这些 配套 info， 我可以 把 它 称之为 配套 的 info， 也是 非常 有 价值 的。 但是 你 怎么做， 这个 非常 考验 他们。 作为 投资人 来讲， 我们 可能 抓 一个 基本点， 就是 团队 的 能力。 刚才 kiss 说 的 这个 意思 就是 他是 要在 里面 泡 的， 是要 做 各种各样 的 转型 和 尝试 的对 kiss.

你们 自己 也 在 这个 中间 做 事儿， 你 觉得 护城河 跟 核心能力 是什么 呢？

我 感觉 刚才 其实 JoNathan 已经 基本 把 整个 这个 链条 讲 得 非常 清楚 了。 其实 是 这样的， 我自己 在 里面 感觉， 这 听着 有点像 废话， 但 其实 真的 是 这样的。 因为 其实 做 infrared， 做 基建， 它 从 工程 角度 应该 是 最难 的。 但 我 感觉 解决 了 最难 的 这个 问题 之后， 其实 是在 语言 模型 的 时代 往上走 一层 反而 是 容易 的。 就是 我们 解决 了 这个 很难 的 一个 问题 之后， 我 像 詹姆斯 刚才 讲， 说 加 一个 交 钥匙 的 这样的 一个 解决方案。 其实 这个 是 简单 的， 因为 这 都是 有 一堆 既有 的 产品， 工具， 各种各样。 这就是 回到 上 一代 的 互联网 的 这个 概念 上， 这 其实 都 有的。

难 的 是什么？

难 的 是 选择 一个 角度， 就是 底层 的 这个 模型， 它 很难 走进 去 的 赛道， 在 这个 赛道 上 你 把 它 做到 最好。 其实 对 我们 来说， 语言 模型 不是 我们的 目标， 但是 它是 我们的 一个 很 重要 的 工具， 这是 我们 对 他的 一个 理解。 我们 做 的 一个 是 我们 认为是 语言 模型 永远 都 解决不了 的。 就是你 把 一个 网页 交给 语言 模型， 让 他 去 帮你 抓 一些 数据， 能 做 吗？ 能 做 没有 问题。 但是 这个 东西 当你 想到 上 到 量， 想到 一个 大量 的 准确度， 一个 连贯性。 因为 语言 模型 都会 产生 幻觉， 一个 网页 越 复杂 你 会 越多 的 幻觉。 那你 怎么 去掉 这些 幻觉？ 怎么 解决 掉 刚才 用 一个 推土机 砸 地 钉子 的 问题， 就是 拿 一个 巨大 的 一个 远 模型 来解决 一个 钉子 的 问题。 这些 其实 是 很难 的 问题。 而 语言 模型 以 我们的 认知 上， 它 很难 走到 这样的 一个 角度 上。

其实我 理解 这 还是 对 垂直 行业 的 一个 深度 理解， 跟 你 基于 大量 扎实 的 工作 建立 起来 的 基本功 去 解决 这个 A I 的 幻觉 问题。

他 需要 对 工程 的 理解 要 远远 胜过 对 语言 模型 的 理解。

这个 非常 同意。 对， 这个 需要 很多 工程 上面 的， 你可以 理解 成 是 包裹， 这 上面 要 叠加 一层。 其实我 刚才 很 同意 kiss 说 的， 其实 英特尔 的 一个 很强 的 可能性 就是 基础设施 是 找到 一个 可以 交 钥匙 的 一个点。 就是你 成为 一个 小型 的 操作系统， 可能 在 某一类 的 垂直 场景 里面， 你 变成 一个 操作系统。 你 不用说 我 一下子 变成 一个 浏览器 或者 I O S， 但是 我 可能 是在 某个 垂 类 里面 可能 能 成为 一个 I O S 交 钥匙。 意思 是我 上面 的 应用层 我 拿 过来 它 就 能够 实现 它 了。 但是 你 想做 一个 非常 泛 的 一个 操作系统， 其实 肯定 是 有 难度 的。 就是 一下 让 所有的 应用 都能 直接 用 你的， 他 就可以 上了， 直接 就 不用 艾森 哲 了。

这个 其实 确实 是 有 难度 的， 但是 我 觉得 可以 探索 这么 一条 道路， 这样 你 跟 底座 的 关系 也 比较 容易 切分。 因为 还是 这个 意思， 底座 都想 通用， 他们 一定 不会 想 在 任何 一个 特别 垂泪 的 一个 里面 去 深 扎 的。 他 总 想 把 所有的 这些 行业， 他 就 想做 那个 叫做 AI 加。 他 如果 是 A I 我要 加 所有的 东西， 所以 这块 是我 觉得。

是 有 机会 的对， 其实我 最近 有 跟 一些 创业者 聊天， 他们 就 觉得 其实 如果 是 做 to c 的 应用 的话， 在 硅谷 融资 没有 太多 的 优势。 就是 因为 他们 普遍 判断 硅谷 是 更加 偏 to b 的 市场 的。 我不知道 中国 的 情况 怎么样， 就 你 觉得 中国 这种 做 to b 的 市场 跟 info 架构 附近 的 事情 成立 吗？ 因为 其实 在 过去 的 这么多年 里面， 我们 看到 硅谷 的 sas 公司 发展 的 还是 非常 成功 的。 但是 在 中国 我 觉得 整体 上 SARS 没有 起来。 当然 我 觉得 用户 付费 意愿 是一个 方面。 还有 中国 的 大公司， 他 其实 把 创业 公司 能 做 的 事情 都 做了， 也是 一个 方面。 但是 这次 在 基于 大 模型 的 这个 创业， 我不知道 你们 会不会 看 中国 的 to b 市场， 以及 你 觉得 它的 终局， 它 能不能 起来 这样的 一批 独角兽。

对， 首先 我们 肯定 两边 都 看 to C2B其实是 一个 非常复 杂的问题。 因为 传统 来讲， 确实 美国 的 to b 文化 更强， 硅谷 的 to b 文化 更强。 中国历史 上都 是 比较， 因为 to c 的 退出 是 最多 的， 就 大 的 退出 这些 巨头 其实 都 是从 to c 开始 的。 中国 的 to b 文化 相对 是 偏 弱 的那 我们 如果 打破 地域 上， 如果我们 只是 看， 因为 现在 A I 其实 太早 了， 你 很难说 我 其实 不是 那么 相信， 一定 会 一下 就 分成 一个 哪个 国家 的 AI。 因为 现在 大家 都很 早期， 从 我 个人 的 判断 来看 的话， 我 借用 互联网 的 这个 经验， 其实 还是 应该。

to c 你 觉得 中国 是 to c 掀起 来。

然后 美国 我 觉得 也是 to c 先。

美国 也是 to c 掀起 来。 对我 是 说 做 投资， 我 从 融资 的 角度 来看你。

这是 说是 哪种 项目 先 起来 吗？ 还是。

不是我的 意思 是 说 就是 对 对， 就是 在 中国 投资人 你们 会 看 to b 市场 的这 赛道 会 投 to b 类 的 公司 吗？

确实 在 中国 会 to b 会 看 的 少。

确实 在 中国 看 的 to c 更 多一点。

对 中国 的 这个 相对来说 的 习惯， 惯性 思维 还是会 偏 to c 一些。 对。

但是 你 在 美国会 看 to b 对， 美国 to B2C都会看.

但是 我 觉得 可能 还是 to c 会 先 跑 出来。 但是 现在 你 看到 的 很多 其实 是 to， 比如 插 GPT 很多， 其实 它 还是 C 端， 其实 还是 to c 的 流量 目前 看着 会 更大 一些。 但 中国 对 to b 的 这个 其实 也有 它的 一些 历史上 的 原因， 但是 让 你 看到 国内 投 的 真正 的 量， 投 的 多 的。

比如说 这 几个 底座， 因为 底座 模型 的 核心 其实 它是 to b。 但是 他们 现在 很多 角色 其实 可能 也会 有点像 艾森 哲， 因为 他是 底座 模型。 但是 一旦 他 要 商业化 的 时候， 就 发现 很多 客户 其实 是 他是 要 定做 模型， 对， 没有 能力 去做 这事 了。 其实 他 就 所以 这些 底座 的 公司 就 承担 了的 角色， 这 其实 也是 他的 商业化 的 一个 这个 事情 为什么 让 艾森 哲 去 获利 呢？ 还 不如 我自己 就 把 团队 放进去 这样。 当然 实话 说 他的 这个 人力 成本 是 很高 的， 他 也 变成 有 一些 劳力 密集型 的。 但是 这是 他 商业化 的 一个 很 好的。 但 他 你 从 他的 实质上 的 而言， 它 还是 to b 的， 所以 它是 也 有点 割裂。

就是 一方面 大家 对 to b 其实 是 有 担忧 的。 但是 真正 融资 最多 的 这些 公司， 其实 你可以 理解 它 还是 to b 会 多一。 因为他 很多 还是 在 做 这些 项目， 艾森 哲也 是个 to b 公司。

是 理解。 最后一个 问题 就是 我们 刚刚 其实 有 不停 的 提到 reg 跟 fine to。 你 要不要 简单 的 用 一两句话 解释一下 这 两个 名词 是什么 意思？

Rock 就要 检索 增强 生成， 这种 就是 微调。 其实 可以 这么 理解， 就是说 这 两种 都 可以 放在 后 训练 里面。 应该 公平 来说 open I 其实 是 做了 努力 的， 就 open I G P T 这个 路线 其实 它是 有 一定 的 思考 的。 他们 其实 是 说 底座 就是 基础设施 跟 应用层 希望 以 这种 形式 来 分开。 就是说 我 先 做 一个 预 训练， 然后 剩下 的 是 我可以 把 后 训练 交给 应用层 来做， 后 训练 就 包括 rag 和 微调。

还有 一些 公司 就说 他们是 在 拉玛 的 基础上 再加 数据 进去， 跟 原有 的 那个 模型 一起 训练。 这个 叫 什么 继续 训练。

我 听 完 你说的 这块， 大 概率 他们 也是 用 微 tea 和 rag。 Lama 其实 就 开源 模型 它 也是， 但是 lama 好处 就是说 你可以 本地 部署 了。 就 比如 你的 私有 数据， 你 用来 做 rag 和 微调 的 这些 私有 数据， 你可以 部署 在 你的 本地。 但是 如果你 用 闭源 模型 的话， 大 概率 你 就得 放在 云 上面 了， 这个 是 它的 一个 好处。 从 这点 角度 来讲， 对， 其实 是 很 类似的。

这个 翻译 其实 就 很 容易 讲到 一个， 刚才 赵 兰 一直 讲 观点， 你 翻 之后， 你 可能 是因为 你的 多了 一点 数据， 看着 确实 比 chat P T 也好， 或者 是 Jimmy a 等等 什么 稍微 好 一点。 但是 当下 一次 这些 大 模型 在 更新 的 一次 的 之后 多了 一点 数据 了， 一下 就 把 你 这个 全都 给 碾 过去了。

对， 这 是一个 风险。 这就是我 刚才 说 在 设计 这个 GPT 架构 的 时候 预 训练。 然后 训练 的 时候 他 其实 算是 没有 完全 解决 这个 问题。 但是 这个 后 训练 就是 rag 和 微调 一定 是 非常 有 价值 的。 不管 你 底座 再 怎么样 更新， 因为你 毕竟 有 私有 数据。 这个 其实 可以 做 个 比喻， 我 一直 喜欢 做 这样的 一个 比喻， 也 不是我 发明 的。

其实 在 很多 其他 的 地方， 预 训练 很 像是 一个 本科 院校， 它是 做 这种 通用 的 一个 教育。 你 一定 要是 有 很多 这种 下游 场景 的， 所以 你 会有 很多 这种 研究生院， 就是 针对 每个 垂直 场景。 比如说 法律 我会 有 法学院， 金融 可以 有 个 什么 商学院， 对 吧？ 医疗 我可以 有 个 医学院， 让 他们 去 继续 对你 进行 教育。 但 现在 大部分 的 后 训练 的 这个 能力， 我 个人 是 觉得 他们 还没有 能 做到 这些。

他们 做了 很多 是什么？ 比如 rag， rag 想做 的 什么 事情 呢？ 比如说 我 有一个 本科生 出来 了， 但是 我想 让 他 去做 很多 律师 的 事情。 但是 rag 的 核心点， 因为 它 叫 检索 增强 生成。 它 其实 是什么 意思？ 就是说 你 不一定 能够 去 上 完 法学院 的 所有的 课， 但是 我 把 法学院 所有的 课 的 书本 都 整理出来 了， 然后 放在 你 面前。 然后 这个 本科生 就是我 在 解决 这些 法律问题 的 时候， 就 随时 去 查 这些 书。 他 给你 一个 很强 的 一个 查 书 的 能力， 就 叫 检索 能力。 这个 大家 都能 理解， 它 实际上 其实 很 像 这么 一个 过程。

对， 有人 把 它 叫 开卷考试。 为什么 叫 开卷考试？ 就是我 是 没有 学 的， 我没有 学 这些 书本， 我 并没有 上 过 这些 法学院 的 课。 这是 rock 微调 是 更 复杂。 但是 可以 简单 就是说 我 也没有 办法 把 你 全都 送到 法学院 去。 但是 我给你 做 很多 有点像 上岗 培训， 就 有点像 短期 的 一个 我 用 以前 的 监督 数据， 其实 就是说 我 以前 的 这些 例子。 我 以前 在 法学院 的 这些 例子 告诉你， 然后 你 按照 这个 去 一个 一个 的 针对 后面 的 这个 事情， 对 吧？ 但是 我 觉得 他的 难点 就在 说， 你 用 这 两种 方式 后 训练 的 方式， 今天 其实 就 没有 像 我希望 的 那样， 能够 真正 在后 训练 的 过程中 能够 加速。 这个 给你 唠， 就是我 数据量 大 的 时候， 我 怎么样 真的 能 变成 一个 法学院， 而 不是 只是 一个 一堆 法学 的 书 放在 桌上 给 我看， 或者 是 一段时间 的 法学 的 培训。

Rag 其实 现在 是一个 最 火 的 一个 商业， 没有 最多 的。 但是 其实我 也很 同意 像 张 德森 讲 的， 我们 也 非常 认为 现在 的 rag 做法 应该 是 不对 的， 这个 比喻 非常 好。 我给你 一本 上课 一本书， 因为你 很强。 然后 我问 你， 我给你 出道 题， 然后 你 从中 翻翻。 你 把 这个 题 告诉我 了， 说 你看 这 题 怎么 回答， 对 吗？ 对， 没有 问题。 好， 我给你 十 本书， 你 去 翻翻 又 找 着 了， 又 告诉我 这个 答案 没有 问题。 给你 一万 本书， 我不告诉你 这个 一半 本书 是什么， 我 就 给你 一半 本书 OK 这 一万 本书。 你 现在 我给你 一道 题， 你 给我 回答 这道题。 更难 了， 非常 难 的。

但 这就是 按照 scaling 诺， 它 本来 是 应该 更 简单 的， 结果 它 越 变 越 难 了。

因为 对， 所以 我 刚才 的 观点 就是说 现在 反而 数据 变成 一个 负面 的 了。 就是我 数据 越多， 我 如果 用 现在 的 这种 后 训练 的 方法， 就 后 训练 的 人 数据 越多， 反而 对他 来说， 当然 它 都 可以 放到 rag 里面。 但 rag 你 就说 能不能 skill， 就是 这个 问题。 一万 本书 能不能 实现 我 我们的 这个。

能力 观点 呢？ 就是说 因为 这个 数据 都是 原始数据， 就 是非 结构化 大 的 原始数据。 在 这 里面 是 大多数 现在 都是 这样的， 我 把 整个 一篇 文章 全都 扔 进去， 我 也不 告诉你 哪个 是 作者， 我 也不 告诉 哪个 是 开头， 哪几个 是什么， 就 没有 这种 标注 的。 它是 把 整个 一大 段 东西 全都 扔 到 vector D B 里面 去， 然后 就 结束了。 基本上 所有人 都是 这么 做 的。 因为你 去做 标记 这个 成本 是 极高 的， 所以 大家 都 这么 做。

就是 像 刚才 张 东西 举 的 例子， 我 有 给你 一万 本书 了， 你 去 说 我 现在 要 找 这个 的 作者 是 这 篇文章 的 作者 是谁， 他在 哪天 写 的这 是一个 语言 模型， 几乎 他是 完成 不了 的 事情。 所以说 他 可能 这 把 对 这 把 是 错的， 他 没有 一个 连贯性。 他 可能 从头到尾 不仅 没有 连贯性， 都 给 你猜 说是 3月7号， 其实 是 12月6号， 完全 没有关系 的这 是 现在 一个 非常 普遍 的 事情， 就是 因为 整个 数据， 所以 回到 之前 周泽 欣 一直 讲 的， 我 感觉 很 有 道理。 用 国内 大厂 的话 讲， 就是 这个 数据 的对 颗粒度 的 问题。 现在 的话 rag 有 很大 的 问题 了。

对， 但是 我 觉得 因为 现在 其实 有 很多 细分 方向 的 应用， 就是 不管 它 难 还是 简单 事情， 我们 还是 得 做， 还是 得 给 大家 效果， 感觉 这些 应用 也会 标配 rag。 所以 从 大家 的 观点 来看， 其实 rag 是 现在 我们 没有 办法 去 达到 细分 垂直 领域 的 这种 精准度。 我们 暂时 用 的 一个 开卷考试， 暂时 用 的 一种 解决 方法。 但是 长远 来看， 这种 解决 方法 它的 数据 并不是 越多， 然后 它 就 效果 越好， 反而 是 相反 的。 所以 它 可以 是一个 过渡阶段 的 产物， 但是 它 不是 一个 最终 方向 的 产物。

这个 结论 也 不是 那么 容易 做。 但 目前 观察 到 的 是 这样， 就是说 我们 也 希望 他 能够 持续的 这样 迭代 下去。 所以 我 还是 刚才 那个 就是你 持续 做 rag 可能 会有 一些 风险， 但 今天 确实 没有 特别 好的 解决方案。 你 因为你 再往下 做， 继续 训练 也好， 重新 预 训练 也好， 肯定 成本 都会 很高。

好的， 我们 今天 的 节目 就 先 到 这里。 谢谢 JoNathan 和 kiss.

谢谢 红军， 谢谢 大家。

好的， 这就是 我们 今天 的 节目。 如果 大家 喜欢 我们的 节目， 欢迎 在 你 所 收听 的 音频 渠道 来 订阅。 我们 中国 的 听众 可以 通过 小宇宙、 苹果 播客网 易云 音乐、 Q Q 音乐、 荔枝 F M、 蜻蜓 F M 来 订阅。 我们 海外 的 听众 可以 通过 苹果 博客 spotify， 还有 在 youtube 上 搜索 硅谷 101播客 来 关注 我们。 感谢 大家 的 收听。