【本期课题】
大模型的未来。
【栏目介绍】
在《产业观察》这档专栏里，我们会为你厘清不同产业的历史沿革，希望能够从中找到一些底层的规律。虽然当下变化迭起，但是所有新风口都有迹可循，不同产业的发展其实也有很多相似之处。
【免责声明】
本节目的所有内容并非旨在提供任何形式的建议，包括但不限于投资、税收、会计或者法律上的建议。
【本期嘉宾】
陈文光是清华大学计算机科学与技术系教授，他也是蚂蚁集团兼任副总裁和蚂蚁技术研究院院长。他长期研究高性能计算编程模型和编译系统，近几年在以图计算系统为代表的新一代大数据处理系统方面也取得了进展，在学术界和产业界都有较深的积累。
【内容索引】
02:56 如何看待这一波由大模型引发的投资、创业浪潮？这一波热潮是否有明确的发展脉络或过程？
07:23 中国的大模型企业和国外的相比，先不论绝对差距如何，是否在语料、结果、计算、技术上具备某种优势或差异？这些差异是否足以形成长久的优势？
09:48 Transformer 作为一种强大的特征提取器，这个技术的演进是怎么发生的？
11:35 Diffusion 在大模型的发展脉络中起到什么作用？它是什么时候开始产生影响的？
13:26 BERT 出现后，技术路线发生了一些变化。虽然 GPT 在时间顺序上紧随其后，但两者的技术路径并不完全相同，GPT 在 2022 年年底生成的文本结果因此超出了大家的预期。这之间的技术差异是如何产生的？
15:55 AI 领域的热潮主要集中在大模型上。在过去两年，大家主要是在拼“大”，模型的参数越做越多，模型越来越大，文本输入也越来越长。如何看待这个“大”的趋势？这种拼“大”的过程是否还会持续下去？
19:52 如果我们不再一味追求“大”，GPT 是否还能如大家所期望，继续超出预期？
23:20 语言本身代表了多少智能？
28:20 大模型在文本表达上已经到了一定的水平，但是今天的大模型能力可以实现真正的情感陪伴吗？
32:13 从神经网络端到端学习的特性来看，只要有足够多的数据集，模型就能够学习并整合这些信息，尽管我们不一定知道它内部是如何处理的，但它确实能够学会。
33:26 通过不断扩大模型规模，我们是否能够最终实现 AGI 或生成式人工智能？
38:41 关于规模是否能带来更大的智能增长，我认为模型规模还有可能进一步扩展，但很难想象会像过去那样 10 倍地增长。
40:03 只有当焦点从“大”上移开时，应用落地才会真正开始加速。
48:45 我们想找到一些适用大语言模型的逻辑。比如说编程与大语言模型就有相似性。
50:25 我理解“文生图”的过程本质上还是在表达一个句子，只不过是将句子中的内容转化为图像中的某个元素。但如果要分析图片，由于图片至少是二维信息，甚至可能包含更多复杂的视觉元素，从前面提到的逻辑延展到这一步，似乎是难以实现的。
53:58 机器学习领域有一个观点，AI只需要达到大脑的功能，但不一定要复制大脑的机制。
55:36 目前的逻辑是，AI将继续沿着自己的一条发展路径前进，而类脑计算作为一种脑启发的智能，是另一条可供选择的路径。人工神经网络的研究者众多，方法也多样化，总会有新的突破。而类脑计算如果能够取得一些好的结果，也会被广泛应用。现在的状态就是这样。
56:07 视频输入对现有模型来说是否会过于复杂？
59:30 大模型的风正在吹向具身智能。基于具身智能机器人的基座大模型，是否能实现，李飞飞教授的新项目靠谱吗？
1:03:00 我们可以把操作对象分为刚性物体和非刚性物体，将操作分为精确操作和非精确操作。目前，第一步是攻克刚性物体的非精确操作问题。当然，未来肯定是朝着精确操作和非刚性物体方向发展，比如给人刮胡子、翻身，叠衣服等。
1:08:43 GPT 5 到底会长什么样，我还是有一点点小小的期待。
1:09:43 以科学领域为例，像 AlphaFold 这样的模型在科学发现上已经持续改进，并开始被应用于实际的科学研究中。如果它能结合计算和实验方法进行闭环验证，或许可以想象成一个自动化的科学工厂。当然，这样的假设需要较高的成功率，否则就会显得不太靠谱。
【本期相关】
- BERT（Bidirectional Encoder Representations from Transformers），一种基于 Transformer 架构的自然语言处理模型，于 2018 年由 Google 发布。它是 NLP 领域的重要里程碑，激发了 GPT、RoBERTa、ALBERT 等后续模型的研究和开发。
- GAN，一种深度学习模型架构。通过生成器和判别器两个神经网络的对抗训练，实现高质量数据样本的生成，在图像、音频、文本等领域中有广泛的应用。
- 类脑计算，一种借鉴和模拟人脑工作机制的计算方法。旨在开发出具有类似于人类大脑认知功能的计算系统或算法。类脑计算目前尚在研究和发展的早期阶段，但它被认为是推动下一代智能计算系统的重要方向。
- 刚性物体，指那些在外力作用下不会发生形变的物体。经典的例子包括金属块、石头、桌子等。非刚性物体的形状和体积可以随着施加的力而改变，典型例子包括橡皮泥、布料、人体、果冻等。
- Vol.116 产业观察18｜如何成为下一个英伟达：与Mackler季宇聊AI芯片的突围之路)
【相关文章】
文字版内容请在峰瑞资本公众号查看。
【制作团队】
主理人：李翔 、李丰
制作及统筹：张英海 （13514156656）、峰小瑞（[email protected]）
如果你喜欢我们的节目，欢迎你分享到更多的地方，也欢迎你在我们的评论区留言交流。
