AGI 2024特辑03 |对话面壁智能李大海：AGI是千里江山图，咱刚打开一条缝
2024/8/23
AI局内人 | AGI Insider
-
-
李
李大海
李大海: 面壁智能的8B参数小钢炮模型在多模态能力上可以与去年的GPT-4V对标，这体现了对Scaling-out的独特理解。尽管OpenAI强调Scaling-out是大模型的关键，但GPT-4在过去一年中缩小了10倍，面壁智能通过高质量数据和算法优化，实现了在较小模型上的高性能表现。
Deep Dive
为什么面壁智能选择聚焦端侧模型？
面壁智能选择聚焦端侧模型是因为端侧离用户最近，能够更直接地与用户互动，并且端侧模型在落地时更具象化和现实。此外，端侧模型能够在隐私保护和环境互动连续性方面提供更强的能力。
面壁智能如何在端侧模型上实现高效训练？
面壁智能通过注重数据质量和算法优化来实现高效训练，而不是单纯依赖模型规模的扩展。他们使用高质量的训练数据，并通过合成数据的方法提升数据质量。此外，他们还采用了动态学习率调度器（WSD）等创新训练方法，针对模型的不同阶段进行精细化训练。
面壁智能的端侧模型目标是什么？
面壁智能的目标是在2026年底推出一个达到GPT-4水平的端侧模型。这一目标基于他们对大模型智能密度（每8个月翻一番）和端侧芯片算力提升的预测。
面壁智能如何看待AGI的发展？
面壁智能认为AGI的发展是一个马拉松，而不是短跑。他们强调通过高质量数据和算法优化来推动大模型的进步，并认为AGI的实现需要大模型与Agent技术的结合，才能形成更完整的智能体。
面壁智能的商业模式是什么？
面壁智能通过2B2C和2B2B等多种方式探索大模型的商业落地，并在金融、营销、法律等多个领域进行了尝试。他们目前聚焦于端侧模型，认为端侧是离用户最近且更具现实落地潜力的途径。
面壁智能如何应对巨头在端侧AI领域的竞争？
面壁智能通过与国内生态公司合作，通过2B2C的方式让用户感受到价值，同时寻找自己的场景。他们认为端侧AI的发展需要生态合作伙伴的紧密合作，并已与华为云等公司达成端云协同的合作。
面壁智能的“面壁定律”是什么？
面壁定律是指大模型的智能密度每8个月翻一番，即在同等参数规模下，模型的智能水平会显著提升。这一规律基于面壁智能对行业发展的观察和自身模型的实践。
面壁智能的端侧模型如何与云端模型协同？
面壁智能将云端模型定义为“无所不能的智能”，而端侧模型则是“无所不在的智能”。端侧模型需要在隐私保护和环境互动连续性方面更强，同时克服能耗限制。他们通过与华为云等合作伙伴进行端云协同，推动大模型在用户最近的地方落地。
李大海分享了他从知乎投资面壁智能到all in AGI的经历，以及他与团队成员对AGI的共识。他认为AGI的未来发展空间巨大，并决心在通往AGI的马拉松中占据一席之地。
- 李大海在知乎期间投资面壁智能，后全情投入AGI赛道
- 他认为AGI是一个充满机遇的领域
- 他与团队成员对AGI发展方向达成共识
Shownotes Transcript