Home

深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态

2024/7/3

此话当真

Frequently requested episodes will be transcribed first

Chapters

Shownotes Transcript

No transcript made for this episode yet, you may request it for free.

深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态

此话当真

Chapters

vLLM 项目与团队的基本介绍是什么？

vLLM 之前，为何没有 LLM 推理框架尝试在多请求角度做优化？

从零到一，vLLM 如何成为最快、最好用的开源引擎？

「大卫战胜哥利亚」，开源模式和代码质量的核心是什么？

开源传统如何塑造学界与业界「探索性+实用性」的火花碰撞？

开源发布之后，vLLM 的目标为何不再是只是速度？

一个模型火了，关于这个模型的 issue 为何会疯狂增加？

发论文与做系统有何不同？

未来大模型会更倾向于场景驱动，探索模型效率的极限？

vLLM 选择做的与选择不做的有哪些？

建立起广泛的贡献者生态有什么诀窍？

要抑制自己动手的冲动，让社区慢慢成长起来？

PMF 何时出现在 PR 开始爆炸性增长而我们没精力去提供新的功能时？

在 vLLM 做科研是一个怎样的正向迭代过程？

vLLM 会如何持续构建和维护开源，支持更多硬件和模型？

vLLM 团队为何高兴能做一个非商业化的项目，让大家都能更好地商业化？

vLLM 团队关注的新鲜开源项目与书籍分享有哪些？

Shownotes Transcript

深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态 01:22:55 Share

此话当真

Chapters

vLLM 项目与团队的基本介绍是什么？

vLLM 之前，为何没有 LLM 推理框架尝试在多请求角度做优化？

从零到一，vLLM 如何成为最快、最好用的开源引擎？

「大卫战胜哥利亚」，开源模式和代码质量的核心是什么？

开源传统如何塑造学界与业界「探索性+实用性」的火花碰撞？

开源发布之后，vLLM 的目标为何不再是只是速度？

一个模型火了，关于这个模型的 issue 为何会疯狂增加？

发论文与做系统有何不同？

未来大模型会更倾向于场景驱动，探索模型效率的极限？

vLLM 选择做的与选择不做的有哪些？

建立起广泛的贡献者生态有什么诀窍？

要抑制自己动手的冲动，让社区慢慢成长起来？

PMF 何时出现在 PR 开始爆炸性增长而我们没精力去提供新的功能时？

在 vLLM 做科研是一个怎样的正向迭代过程？

vLLM 会如何持续构建和维护开源，支持更多硬件和模型？

vLLM 团队为何高兴能做一个非商业化的项目，让大家都能更好地商业化？

vLLM 团队关注的新鲜开源项目与书籍分享有哪些？

Shownotes Transcript

深度对谈 vLLM 团队：如何从零搭建一个成功的开源生态