李
李广密
李广密认为2023年大模型领域的核心竞争在于少数几家公司对模型能力的持续提升和成本的有效控制。他认为OpenAI、Anthropic和Google处于领先地位，并详细分析了这三家公司的技术优势和发展策略。他还指出，复现GPT-4的难度远超预期，只有少数公司能够达到这一水平。此外，他还强调了人才、数据和算力在模型研发中的重要性，以及硅谷巨头主导融资的现状。关于中国大模型产业，他认为技术辨识度低、资源分散是主要问题，建议中国公司应积极学习硅谷经验，寻求与巨头合作，并关注数据飞轮和网络效应的建立。
张小珺作为访谈主持人，引导李广密回顾了2023年大模型领域的关键事件和发展趋势，并就大模型的商业化落地、中美大模型产业的差异、以及未来发展方向等问题与李广密进行了深入探讨。她还就OpenAI的内部变动、以及大模型领域的投资策略等问题向李广密提出了自己的疑问，并促使李广密对这些问题进行更深入的分析和解读。
Deep Dive
回顾2023年全球大模型的发展，主要集中在OpenAI、Anthropic和Google三家公司的核心秘密和技术突破。讨论了模型能力的提升、多模态的发展以及硅谷大模型公司的融资情况。
- OpenAI的ChatGPT在用户心智中占据主导地位
- GPT-4的发布是一个关键分水岭
- 多模态模型的发展成为2024年的核心叙事
Shownotes Transcript
这是《商业访谈录》的跨年特辑。我邀请拾象创始人李广密口述全球大模型这一年——当顶级商业领袖、顶尖科学家这些人类最聪明的大脑，手握数以千万计的资本狂卷一年，2023年全球大模型卷出了什么？
人类这场以大模型为名的豪赌实验，**能否将世界带到新的摩尔时代？**简单说，模型产业的发展规律会不会极类似半导体行业：未来，模型能力每1-2年提升一代，模型训练成本每18个月是原来的1/4、推理成本每18个月是原来的1/10。
广密今年一整年全身心泡在大模型，一大半时间肉身在硅谷，参与相关投资。这期信息量非常密集。我会在show notes里尽可能详细地标注播客中的专业词汇。
- 02:03 过去一年，大模型的核心secret藏在这三家公司：OpenAI、Anthropic、Google
- 04:22 回顾全球大模型这一年，我脑海里闪现的关键产品与瞬间
- 07:56 从OpenAI分裂出去的Anthropic，它的前世今生（OpenAI正以1000亿美元融资，Anthropic正以200亿-250亿美元融资）
- 10:26 硅谷大模型的融资是巨头在定价和主导了，硅谷VC几乎全体错过
- 12:13 卷了这一年，全球大模型到底卷出了什么？
- 14:03 如果复刻GPT-4是进入决赛圈，目前的3名入围选手和3名高潜黑马
- 15:20 提升模型capability的北极星指标与关键变量？
- 16:51 这次是极少数科学家推动的“登月时刻”，天才科学家的聚集效应与分布图
- 23:05 模型竞赛很残酷，我们对于终局的推演、猜想
- 23:53 中国模型公司现状：技术辨识度/资源集中度/领军人物
- 25:53 人类烧尽千亿美金做一场AI实验，赌的是什么？AI能推动未来15年全球GDP翻倍？
- 26:26 硅谷巨头和它们分裂的大模型阵营：微软和它支持的OpenAI/Google、Amazon和它们支持的Anthropic/Google自成一派/Tesla和它支持的X.AI/Apple——明年Apple支持谁值得关注
- 30:29 2024年会决定大模型格局，窗⼝可能就在未来12个⽉
- 33:39 大模型公司一定要追求GPT-4吗？不做怎么样？晚做到又怎么样？（壁垒）
- 37:35 大模型有可能开启了“新摩尔时代”：明线是智能capability提升，隐线是成本下降
- 46:16 硅谷模型公司更像research lab，八成以上可能性会被收购
- 49:15 学习硅谷经验，“国内公司也可以提前抱大腿”
- 50:34 大模型时代与互联网时代的不同特征（还没看到网络效应和数据飞轮）
- 54:53 回头看，今年初我们低估了GPT-4的难度，高估了应用爆发的速度
- 55:14 开源和闭源/大模型和小模型/通用模型和垂直模型的格局问题
- 57:47 多模态和Agent的下一步？
- 01:07:14 硅谷VC最大的竞争压力来自微软和OpenAI，GitHub前CEO Nat Friedman在这波AI里标的质量高，position比很多传统硅谷VC要好
- 01:11:33 对2024年的预测和猜想：应用大爆发？
- 01:20:04 美国“模型即应用”，国内产品和场景定义可能做得更好
- 01:26:00 说三条今年行业的最大噪音
- 01:27:05 OpenAI政变进展：Sam Altaman像政客，Ilya Sutskever不怎么去公司了
- 01:29:09 接下来，我最想知道的4个问题
提到的公司/产品/人：
- 全球前三的模型公司：OpenAI (ChatGPT)、Anthropic (Claude-2)、Google (Gemini)(Gemini Ultra)
- 另外可能的黑马：马斯克支持的X.AI、Transformer核心贡献者Noam Shazeer创办的Character.AI、字节
- 做开源模型的公司：Meta (Llama)、Mistral (一家欧洲做开源大模型的公司)
- 多模态：Midjourney (图像生成)、Runway/Pika (视频生成)
- DAU稳定在200w以上的产品：ChatGPT、Character.AI
- 企业级业务探索大模型的公司：微软copilot、Adobe
- 贡献很大的科学家：Noam Shazeer (Character.AI CEO)、Dario Amodei (Anthropic CEO)、Ilya Sutskever (OpenAI首席科学家)
- 在AI投资领域最欣赏的一个人：Nat Friedman (GitHub的联合创始人之一)
专业或英文词汇：
- ARR："Annual Recurring Revenue"，即年度经常性收入，是一种衡量公司在一年内通过订阅、合同或其他定期收费服务获得的收入的指标。它特别适用于那些提供订阅型服务的公司，如软件即服务（SaaS）公司。
- RLHF：基于人类反馈的强化学习，Reinforcement Learning from Human Feedback。
- Transformer：是一种用于自然语言处理（NLP）和其他序列到序列（seq2seq）任务的深度学习模型架构。它由Google在2017年的一篇论文中首次提出，并在提出后的几年中成为了许多NLP任务中的标准模型架构。Transformer架构抛弃了传统的循环神经网络（RNN）和长短时记忆网络（LSTM），而采用了自注意力机制（Self-Attention）来实现序列建模。
- inference cost：推理成本
- pre-train：预训练
- scaling law：在大模型领域，"scaling law"（规模定律）是指模型规模的增加与性能、能力或其他相关指标之间的关系。当在深度学习中讨论模型规模时，通常指的是模型参数的数量、训练数据的大小，或者计算资源的使用情况。规模定律通常涉及到增加模型规模会如何影响模型的性能和训练效果。
- diffusion model：扩散模型
【更多信息】
本集首发于腾讯新闻，点击前往音频版)
联络我们：微博@张小珺-Benita)
更多信息欢迎关注公众号：张小珺
