泓
泓君Jane
硅谷101创始人与播客主理人，曾任《财经》杂志驻美记者，著有多篇获奖专栏文章。
陈
陈羽北
泓君Jane：大模型的“黑盒”特性引发了AI安全性的担忧，人们迫切需要理解其内部运作机制。
陈羽北：白盒研究旨在将深度学习从经验性学科转变为科学学科，目标是理解人工智能并通过理解重构它，构建出从根本上不同的东西。白盒研究的本质在于理解信号的结构，从而提升模型效率、鲁棒性、安全性以及可信度。通过分析词嵌入和大型语言模型，可以发现模型内部存在结构性信息，例如“原意思”，这有助于理解模型的运作机制。理解模型的运作机制可以反过来优化模型，例如调整模型中的偏见，使其更公平安全。OpenAI等机构的研究也尝试通过识别特定神经元的激活模式来理解模型的运作方式。人类可以通过少量数据获得强大的泛化能力，而大模型需要海量数据，这体现了人类学习效率的优越性。理解大模型和人脑运作机制的难度各有不同，大模型的可观测性更强，但其对世界的理解不如人脑全面。神经科学背景可以启发AI研究，例如对生物系统中信号处理方式的观察可以挑战现有的AI方法。传统机器学习模型是白盒模型，而大模型是黑盒模型，黑盒模型发展迅速的原因在于其包袱少，并且受益于数据规模的扩大。白盒模型追求简洁性，但过度简化可能限制其能力。白盒模型研究可以提升大模型的效率并统一不同模型，并扩展到控制领域。距离构建完全可解释的大模型还有很长的路要走，研究目标可以分阶段进行，例如先解释ImageNet的运作机制。白盒模型的研究流派包括可视化、神经科学和数学统计三种。
陈羽北：Yann LeCun长期坚持自监督学习和世界模型研究方向，他更关注模型的自身能力和自主学习能力，而非单纯依靠Scaling Law。Yann LeCun对Meta的贡献包括筹建Meta AI和推动开源路线。大模型研究已经从科学家驱动转向工程驱动，未来发展需要科学和工程的共同推动，Scaling Law虽然重要，但效率提升同样关键。
Deep Dive
讨论白盒研究的目标是将深度学习从经验学科推向科学，并探讨如何解释大语言模型的输入输出。
- 白盒研究旨在将深度学习从经验学科推向科学。
- 通过理解大语言模型的输入输出，可以优化模型并提升效率。
- 早期模型如词汇嵌入可以学到语言的表征，但需要进一步解释其性能提升的原因。
Shownotes Transcript