克莱姆·德隆,欢迎来到 ACQ2。感谢你的邀请。很高兴能在这里见到你。在过去的几年里,我们听说了很多关于Hugging Face的事情。在这个时刻和你直接谈论这家公司,感觉非常合适。我觉得现在是人工智能的非常关键的时刻,而有了Hugging Face,我们有幸处于它的中心。我很高兴能够分享我们看到的一些事情。
我认为收听节目的听众会说,这一集将讨论什么?我们想把它定义为:你应该带着对人工智能一无所知的状态收听,然后带着对开源人工智能和封闭生态系统有相当清晰的理解的状态结束收听。两者之间有什么区别?权衡是什么?各自的优点是什么?我们将通过Hugging Face的故事来讲述。那么,你在这个生态系统中扮演什么角色?你和谁合作?和谁不合作?
考虑到你公司的名字,这件事是如何从一个不太可能的地方发展起来的?我们将倒叙地进行讲解。在今天这个时刻,你如何描述Hugging Face是什么?Hugging Face很幸运地成为了人工智能构建者的第一大平台。
所以人工智能构建者在某种程度上就像新的软件工程师,对吧?在之前的技术范例中,构建技术的方式是编写代码。你会编写数百万行代码,这将创造出一个产品,比如Facebook、谷歌或我们日常生活中使用的所有产品。而如今,创建技术的方式是训练模型,使用数据集并构建人工智能应用程序,对吧?
所以今天大多数这样做的人都在使用Hugging Face平台来查找模型、查找数据集和构建应用程序。因此,我们每天都有超过500万的人工智能构建者在使用该平台来完成这项工作。
Hugging Face周围的生态系统在许多方面让我想起了2008年到2010年Web 2.0时代,每个人都在发布RESTful API,你可以突然将数百万家不同的公司串联起来。混合应用。服务于……是的,这种类似于API混合应用的东西。感觉上至少你所处的运动与那个运动类似。我们可以用一堆这种更开放、更灵活的构建块创造什么?
是的,这非常令人兴奋,因为它取代了一些以前的功能。现在你开始看到搜索是用人工智能构建的。你开始看到社交网络是用人工智能构建的。但与此同时,它也赋能了新的用例。它
解锁了以前不可能实现的新功能,达到某种程度,对吧?就像有些人谈论超级智能、AGI,一些我们过去甚至从未想过的新事物。
所以我们正处于这样一个非常有趣的时刻,技术开始赶上用例,我们看到以前不可能实现的数百万新事物的出现。这很酷。为了让听众了解你运营的规模,Hugging Face目前的估值(录制时)为45亿美元。投资者包括英伟达、Salesforce、谷歌、亚马逊、英特尔、AMD、高通、IBM。它
是一组非常庞大的投资者。作为一家公司,你关心的一些指标是什么?你可以用这些指标来描述开发人员今天使用它的规模。我刚才说过,我们有500万人工智能构建者在使用这个平台,但更有趣的是,我认为是他们在这个平台上的使用频率和使用量。因此,他们总共在这个平台上分享了超过300万个模型、数据集和应用程序。
你可能知道其中一些模型,可能听说过它们,比如LAMA 3.1。你可能听说过用于图像的稳定扩散。你可能听说过用于音频的whisper或用于图像的flux。
我们很快就会超过100万个在平台上共享的公共模型,以及几乎同样多的公司内部私下用于其用例的模型。所以对你们来说,类比模型就像GitHub,只不过是针对人工智能模型的,对吧?你可以公开、开源、对所有人开放,公司也可以使用人工智能。
内部封闭源代码存储库用于他们自己的用途,对吧?是的,这是一个新的范例。所以人工智能与传统软件大不相同。所以它不会完全相同。但我们相似之处在于,我们是这类新型技术构建者最常用的平台。对于GitHub来说,它是软件工程师。而对我们来说,它是人工智能构建者。
此外,关于使用方面,一个有趣的指标是,现在每10秒钟就会在Hugging Face平台上构建一个模型、数据集或应用程序。我不知道这个播客会持续多久,但到这个播客结束时,我们将在Hugging Face平台上构建数百个模型、数据集和应用程序。
为了继续对存储库进行比较,除了“我将上传一堆每个人都可以看到并可能尝试修改的代码”之外,还需要存在的东西还有数据集本身,还有一个实际运行应用程序的平台,还有一个计算平台,如果你想训练一个模型,这在Hugging Face上也是可能的,对吧?
是的,还有一个方面有时人们会低估,那就是
围绕人工智能构建的许多协作功能。事实是,你不能独自一人作为一个单独的个体来构建人工智能。你需要团队中所有人的帮助,有时还需要公司其他团队甚至该领域的人员的帮助,对吧?因此,诸如评论模型、数据集、应用程序、对你的代码、模型、数据集进行版本控制之类的功能,对吧?
报告错误,评论和添加关于你的代码、模型、数据集的评论。这些都是平台上最常用的功能,因为它使越来越大的团队能够一起构建人工智能。我们看到公司的情况是
几年前,也许是一个小型团队或5到10人领导着公司的人工智能团队。现在团队规模要大得多。例如,在微软、英伟达、Salesforce,我们有数千名用户一起私下和公开地使用Hugging Face平台。
所以我有一堆问题,关于人工智能未来的哲学问题,以及人工智能生态系统的思维模型与前几代不同的问题。但要达到这一点,我认为了解你如何到达这里是有帮助的。所以在2016年,你共同创立了一家以Unicode代码点拥抱脸(表情符号)命名的公司。我
据我所知,它是一个你可以作为聊天机器人与之交谈的表情符号,主要面向青少年。对吗?是的,完全正确。这是一段漫长的旅程。所以你既没有创办人工智能基础设施公司,也没有在当前的人工智能时代创办公司。不,但是我们确实开始了……
基于我们对人工智能的兴奋和热情,即使我们当时并没有称之为人工智能,对吧?我们更多的是说机器学习、深度学习。我很幸运,我想现在差不多15年前,多几年,在巴黎的一家名为Moodstocks的创业公司工作,我们在那里为计算机视觉做机器学习。
在许多人谈论人工智能之前很久。这让我意识到这项新技术的潜力以及我们可以用人工智能改变事物的方式。所以当我们与我的联合创始人朱利安和托马斯一起创办Hugging Face时,我们对这个话题非常兴奋。我们想,好吧,它将实现很多新事物。所以让我们从一个既具有科学挑战性又有趣的话题开始。
所以我们从对话式人工智能开始。当时,我们认为,Siri、Alexa,它们很糟糕。我们记得我们的Tamagotchi,它们是一种有趣的虚拟宠物,你可以与之一起玩耍。所以让我们构建一个AI Tamagotchi,一个有趣对话式AI。
这就是我们所做的。我们花了三年时间来完成它。我们在这个想法上进行了前两轮融资。所以感谢我们的第一批投资者,他们投资了一个与我们今天所做的事情大相径庭的想法。你们的早期投资者是谁?我们最早的投资者是纽约的Betaworks。我不知道。是的,约翰·博斯威克和马特·哈特曼是我们的第一批投资者。
在我们还是一群说法语的家伙,没有任何具体的背景或资历,英语说得也不流利的时候,他们真的支持我们。我想你现在是Betaworks投资过的最有价值的公司。是的,并且更值得骄傲的是,现在他们投资最多的公司。所以我们是他们做出的最大赌注。他们一直非常、非常支持我们。
但来自许多对我们来说非常重要、有影响力的天使投资者的支持,比如Richard Socher,他是You.com的创始人,当时是Salesforce的首席科学家。然后是康威家族的支持,由罗尼·康威领导的A Capital,领导了我们的下一轮融资。罗尼·康威也一直在Hugging Face的早期阶段支持我们。
太棒了。所以这仍然是为了……我要和一个表情符号聊天这个想法。是的。是的。更准确地说,你是在2016年创办了这家公司,2017年是谷歌发布Transformer论文的时候。所以我们还没有到人工智能社区的人们真正知道大型语言模型即将到来的时候,比如OpenAI还没有做出他们的重大转变。所以自然语言处理的最新技术仍然是
相当有限的,在非常特殊、经过良好清理的数据集上训练的小型模型。对吗?是的。令人惊讶的是,或者幸运的是,这导致了今天的Hugging Face。因为当时,你做对话式人工智能的方式是通过
将一堆不同的模型拼接在一起,这些模型会执行非常不同的任务,所以你需要一个模型来从文本中提取信息,一个模型来检测句子的意图,一个模型来生成答案,一个模型来理解与模型相关的感情,所以Hugging Face旅程的早期,我们开始思考如何构建一个
一个层、一个平台、一个抽象层,允许你拥有多个模型和多个数据集,因为我们希望聊天机器人能够谈论天气、谈论体育、谈论许多不同的主题,你需要一堆不同的数据集。这正是今天Hugging Face的基础,就像这个平台一样,可以托管如此多的模型、如此多的数据集。
这是一个非常有趣的命运,一件非常有趣的事情。显然,它强化了听众对灵活性的重要性、机会主义以及能够抓住机会的重要性,即使是三年后,对吧?对我们来说,这是三年后,筹集了大约600万美元,完全改变了我们正在做的事情、我们正在追求的目标、我们正在构建的东西,对吧?
显然,我们一点也不后悔,但这对所有收听节目的听众来说都是一个很好的教训,即使筹集了600万美元,三年后,你仍然可以转向并为你的公司找到一个新的方向。这是最好的。这些对话是如何开始的?它们是如何进行的?开始需要多长时间?
从谈论它到做它?是的,令人惊讶的是,转变并不像我们想象的那么困难。这一切都始于我们的第三位联合创始人兼首席科学家托马斯的倡议。我认为这正是BERT出现的时候,也就是第一个非常流行的Transformer模型。那是谷歌的模型吗?谷歌开源的模型。
我记得那天,一个星期五,托马斯告诉我们说,哦,谷歌发布了一个新的Transformer模型。它很棒,但很糟糕,因为它在TensorFlow中。当时,人工智能最流行的语言是,实际上仍然是PyTorch。他说,哦,我想我会花周末的时间将这个模型移植到PyTorch中。
朱利安和我当时说,好吧,如果你周末没事可做,那就玩得开心点,去做吧。星期一,他发布了BERT的PyTorch版本,并在推特上发布了它。我认为他的推文获得了大约一千个赞。当时我们想,这是怎么回事?我们打破了互联网。一千个推特赞?
太疯狂了。开发人员的需求在当时非常明显,PyTorch,但由于它诞生于谷歌,当然我们会用TensorFlow来实现它。他们不得不使用他们自己认可的堆栈。它只是在等待第一个人意识到,哦,我的上帝,这个东西需要存在于PyTorch中,才能通过这样做获得所有互联网上的赞。是的。是的。我想这是命运或宇宙给予我们的另一个礼物。
多亏了汤姆的工作,我们设法抓住了它。在那之后,我们看到了兴趣,加倍努力。我认为六个月后,我们告诉我们的投资者,看,这是我们在这个新平台上获得的采用率。我们认为我们需要从一个转向另一个。幸运的是,他们都非常支持。这就是导致转向和我们所采取的方向的原因。哇。你是如何利用托马斯的经验
将BERT从TensorFlow移植到PyTorch,并将其转化为这样的想法:哦,实际上应该为此创建一个平台。BERT LEVINE:这是非常自然而然的。我们所做的实际上是遵循社区反馈。所以发生的事情是,在这个第一个模型发布之后,我们开始听到其他构建其他模型的科学家表达了将他们的模型添加到我们的库中的兴趣。
我认为当时是ExcelNet,如果我没记错的话,它来自Guillaume Lample,他现在是Mistral的创始人。我认为当时是来自OpenAI团队的GPT-2,它是开源的。没错。它曾经是OpenAI。是的。他们告诉我们他们想添加他们的模型,因为我们确实遵循了社区对此的反馈。
这就是它从单个模型存储库转变的原因。我认为第一个名字是预训练的PyTorch BERT,我认为它是PyTorch Transformers。
到Transformers,然后它扩展到我们现在看到的Hugging Face平台。这就是你因此而闻名的事情,也就是Transformers库。你当时是这个开源项目的管理者,你围绕它构建了Hugging Face平台,以便托管和促进Transformers上的所有社区互动。结果发现,哦,我的天哪,还有很多其他人正在构建类似于我们的Transformers库的东西,他们也想要放置
相同的基础设施。没错。过程是一样的。在某些时候,社区中的用户开始告诉我们,哦,我有更大的模型。我无法再将它们托管在GitHub上了。
好吧,让我们为此构建一个平台。或者我想托管我的数据集,但我希望能够在我的数据集中搜索,看看,你知道,是否有好的数据、坏的数据?我该如何过滤我的数据等等?所以我们开始构建它。几个月后,我们意识到我们基本上构建了一个新的AI版GitHub。所以我们的开发一直非常社区驱动,真正遵循社区的反馈。
我认为这是我们多年来如此成功的一个重要原因,也是为什么社区对我们的平台和我们的成功贡献如此之多的原因。如果没有数百万的人工智能构建者、贡献者分享开放模型、开放数据集、开放应用程序,并通过评论、错误修复做出贡献,我们就无法达到今天的水平。
这是今天成功的主要原因。你非常有名的开放。我的意思是,你真的拥抱了这一点。我们会根据社区告诉我们的需求来构建产品。在内部,你有一个非常开放的政策。我认为所有员工都可以访问Twitter帐户、你的社交媒体帐户,对吧?
是的,是的。作为开源的倡导者,多少开放才算过分开放?你并不是一个去中心化自治组织。我不认为你会发布每个人的薪水。你喜欢什么开放,什么你觉得最好是专有的?我们想做的是为公司提供工具,让他们比没有我们的情况下更开放。
但不会以任何方式强迫他们。我刚才提到了在平台上构建的模型、数据集和应用程序的数量。人们不太了解的是,其中一半实际上是私有的,对吧?公司只是在内部使用它们自己的人工智能系统,而没有共享。
我们对此完全没问题,因为我们理解有些公司比其他公司更开放。但我们希望为他们提供工具来开放他们觉得可以开放的内容。所以有时它不是一个大型模型。它不是一个大型数据集。他们可以在平台上分享一篇研究论文,因为显然,对于科学来说,开放性比对于人工智能本身更重要。
并且逐渐地,它允许他们分享更多,为世界做出更多贡献,因为
最终,我们相信开放和开源人工智能、开放科学确实是那种能够托起所有船只的潮水,对吧?这使每个人都能构建,使每个人都能理解,了解人工智能是如何工作的,是如何不工作的。
并最终导致一个更安全的未来。现在很多人都在谈论AGI。我非常害怕非去中心化的AGI。你知道,如果只有一家公司、一个组织获得了AGI,我认为那时风险最高,而如果我们可以向每个人提供这项技术,不仅是私营公司,还有政策制定者、非营利组织、
民间社会,我认为这将创造一个更安全的未来,一个我更兴奋的未来。我本来不想在这里讨论这个问题,因为它几乎是一个太闪亮的问题,但我们正在谈论AGI,所以我们必须这样做。你认为今天的模型是否正在走向AGI,或者你认为AGI是完全独立的东西,而这些并不是通往它的垫脚石?好吧,我认为它们是构建块。
对于AGI来说,当然,从某种意义上说,我们正在学习如何构建一些更好的技术。但与此同时,我认为存在一些基于技术名称本身的误解。我们不能称之为人工智能,人工智能。所以在人们的脑海中,它与科幻小说、加速、奇点联系在一起。
而对我来说,我在现场看到的是,这只是一个构建技术的新范例。所以我更愿意称之为软件2.0,对吧?就像你以前有软件,你有软件2.0。我认为它在未来几年会不断改进,就像软件在过去几年不断改进一样。
但这并不意味着我们称之为人工智能,它就使它更接近某种全能的人工智能系统,这种系统将接管世界。感觉上确实存在两种不同的……
以人工智能的名义伪装的东西。其中一个是,我有点像软件2.0,因为软件赋予了人类更多能力,并使少量人类能够扩展更多。而这个新时代的软件是
感觉上它只是增强版的软件。你可以非常快速地构建的应用程序的丰富性令人惊叹,并且是在我们迄今为止拥有的惊人软件范例之上又一个10倍的改进。还有一件完全不同的事情,那就是通过图灵测试的事情。我正在与某物交谈,我非常相信那东西是人类,但它不是。这对我来说有点好笑,因为这两者都被称为人工智能,其中一个是真正意义上的,
为构建者提供杠杆作用,他们可以创造多少。是的,这可能也是因为我们高估了你所说的第二个领域。对我来说,这感觉
并不难以置信,也并不令人难以置信的是,我们最终设法构建了一个聊天机器人。你认为你可以在2016年做到这一点,对吧?是的。如果有什么不同的话,我很惊讶我们之前没有设法构建一个好的聊天机器人。所以对我来说,即使是那种……也属于过去几十年技术的发展。
我认为有时我们会忘记,因为我们如此专注于今天,我们对今天的进步比对过去的进步印象更深刻。但想象一下,第一批速度超过人类的车辆。想象一下,第一台比人类检索信息更好得多的计算机。想象一下,你第一次使用谷歌并在几秒钟内找到任何信息。
这些都是令人印象深刻的进步。现在我们认为它们是理所当然的,但它们是令人印象深刻的进步。所以我认为技术会继续像过去几年一样进步。显然,一些这些技术的构建者正在炒作它,对吧?并且对此感到兴奋,这是正常的。但作为一个社会,我认为保持适度是好的,对吧?
并且理解技术将继续改进,我们需要将其引导到对我们、对社会、对人类有益的方向。一切都会好起来的,我们不会因为一个聊天机器人而几个月后陷入世界末日的情景。
令人着迷。有趣的是,在你说话的时候,你把它与自行车联系起来。我总是想起史蒂夫·乔布斯的那句话,计算机是心灵的自行车,这在许多方面都意味着它是杠杆。这是一种让心灵输出比以往更多东西的方式,就像自行车对步行者一样。这几乎就像这个软件2.0是心灵的自行车的自行车。它就像一辆复合自行车。是的。
是的。
是的,Vanta是我们在Acquired上一直谈论的引语的完美例子。杰夫·贝佐斯,他的想法是,一家公司应该只关注真正让你的啤酒味道更好的东西,即只将你的时间和资源花在真正能推动你的产品和客户发展的方面,并将其他所有不相关的方面外包出去。每家公司都需要与其供应商和客户建立合规性和信任。
它在实现收入方面发挥着重要作用,因为客户和合作伙伴需要它,但它却不会为你的实际产品增加任何味道。Vanta为你处理所有这些。不再需要电子表格、不再需要碎片化的工具、不再需要手动审查来拼凑你的安全和合规性要求。它是一个单一的软件面板,通过API连接到你的所有服务,并节省了无数个小时的工作。
对于你的组织来说。现在有AI功能使其更加强大,它们甚至与300多个外部工具集成。此外,他们允许客户与其内部系统建立私有集成。也许最重要的是,你的安全审查现在是实时的,而不是静态的,因此你可以监控并与你的客户和合作伙伴共享,以增强他们的信心。因此,无论你是初创公司还是大型企业,如果你的公司准备自动化合规性并简化安全审查,
像Vanta的全球7000名客户一样,回到让你的啤酒味道更好的工作中来,请访问vanta.com/acquired,并告诉他们Ben和David让你来的。感谢节目的朋友Christina,Vanta的首席执行官,所有Acquired的听众都可以获得1000美元的免费积分。vanta.com/acquired。你一直都在那里,见证了整个过程
现代人工智能的发展,你将如何在过去,比如说,你参与其中的六七年里,来描述开放与封闭?感觉
在此期间,钟摆发生了重大转变吗?或者说,哦,不,好吧,一直都有开放和封闭。你知道,如果你回到一开始,那么,Facebook和谷歌是封闭的,而学术研究界是开放的。你如何看待它?首先,这场辩论本身就有点误导性,因为事实是,开源是所有人工智能的基础。
人们忘记的一件事是,即使是封闭源代码公司也大量使用开源。所以如果你考虑OpenAI,如果你考虑Anthropic,他们正在使用开放研究,他们正在大量使用开源。所以它几乎是堆栈的两个不同层,开源、开放科学在这里。然后你可以在这个开源基础之上构建封闭源代码。
但我确实认为,如果你观察整个领域,它已经变得不如以前那么开放了。
我们谈到了2017年、2018年、2019年。当时,大部分研究都是由研究界公开分享的,对吧?这就是Transformer出现的方式。这就是BERT出现的方式。像谷歌、当时的OpenAI这样的参与者正在公开分享他们的大部分人工智能研究和模型。
在我看来,这导致了我们现在的时代。正是所有这些开放性和领域之间的协作,导致了比如果一切都是封闭源代码的话要快得多的进步,对吧?OpenAI采用了Transformer,做了GPT-2、GPT-3,这导致了我们今天的局面。
在过去的几年里,也许是两三年,它变得不那么开放了,或者更开放了,这取决于你的观点。可能是因为越来越多的商业因素开始发挥作用。也因为我认为围绕开放与封闭的安全性存在一些误导性的论点。
这导致了一个奇怪的现象,开源和开放科学不像以前那样受到推崇了。是的,也许可以谈谈这个。论点是什么?为什么你认为它是误导性的?很多人强调人工智能的生存风险,以此来证明它不应该像现在这样开放。
是的,说最好不要分享研究成果,因为这很危险。一个坏人得到了这个,可能会做坏事。没错。这不是第一次使用这种说法了。实际上,在每一个技术周期中,如果你仔细观察,它都是一样的,你知道,就像书籍很危险一样。它们不应该被分发给每个人,对吧?就像它们应该只由少数几个组织控制一样。你需要许可证才能写书,才能分享书籍。
感觉好像软件行业从未发生过这种情况。是的,这发生在核时代。但我记不起任何关于“哦,我的上帝,软件即服务太危险了”之类的说法。或者移动应用程序。啊,确保国家行为者无法获得它。是的,这是真的。
也许人工智能的周期更快,从人们根本不知道这项技术到每个人都知道。所以它会产生更多的恐惧,更多的人操纵和误导的能力。也许名字起了很大的作用,对吧?当你称之为人工智能时,它比你称之为软件时更可怕。
即使在过去,世界也认为正在发生的事情是,“哦,这是一群书呆子”。就像它有自己的社区,而社区的规范是围绕开放,坦率地说,它源于60年代和70年代海湾地区的嬉皮士运动。但现在利害关系要高得多。是的。我觉得竞争环境也大不相同。我认为软件的早期阶段是……
新公司、新参与者比现在更容易出现,现在权力更多地集中在少数几家大型科技公司手中。所以这可能起到了作用。对我来说,支持开放最重要的事情之一是
希望它能够促使数千家新的人工智能公司建立起来,这令人难以置信地令人兴奋。大公司正在做很多好事,他们在许多方面做得很好。但我认为,如果我们可以利用软件和人工智能之间这种范式转变作为重新分配资源、改变现状和赋能新一代的方式
公司、创始人、首席执行官、团队成员在世界上发挥更大的作用,那就太好了。我认为这将使社会的挑战和担忧与公司实际构建的内容更加一致。所以我很高兴尝试这样做。对于那些没有亲眼目睹这一点的听众,我周末和我的一个好朋友在一起
他是一位初创公司创始人,是非技术人员,拥有一家小型自力更生的公司,10天前决定在其周围构建一个人工智能产品,你知道,构建它,好吧,可能一个月前决定,在几周内构建它,是非技术人员,我敢肯定使用了Hugging Face,启动它,它就像彻底改变了他的业务一样。而且它的产品输出就像令人震惊的世界级产品,这要归功于这些人工智能工具。是的。
是的,这令人难以置信地令人兴奋。这就是为什么我觉得我们不需要人工智能的末日情景,或者像AGI超级智能谈论人工智能那样,因为仅仅因为它是一个全新的范式来构建所有技术就足够了
已经足够令人兴奋了。它已经有点像在思考它将赋能多少人,多少新能力,它将创造多少新的初创公司和公司。
对我来说和很多人来说已经足够令人兴奋了。它将改变你建立公司、建立初创公司的方式,正如你提到的那样,它将改变你投资初创公司的方式。我知道很多投资者都在收听这个播客。我认为这将彻底改变你投资初创公司的方式。我
我参与过一些投资。到目前为止,我在过去两年中已经进行了数百次天使投资,主要是在Hugging Face周围的社区。我认为我们开始看到,建立一个人工智能初创公司在许多方面与建立一个软件初创公司非常不同。
我认为这对你的投资方式和基金回报有影响。例如,这似乎是第一次看到这么多初创公司非常需要资金,需要计算能力,就像我们知道的Mistral一样,它拥有一个开放的人工智能平台。
所以我认为它改变了你对投资、投资回报和初创公司支出的一些看法。这类公司需要更多的资金,但基础自动驾驶公司并不多。我认为可能有。可能有。如果你仔细想想,现在大部分投资都流向了基础LLM。
但这只是一种模式,文本,对吧?视频的基础模型呢?生物学、化学、音频、图像的基础模型呢?如果实际上基础模型公司只是普通的人工智能公司呢?
就像软件公司是软件范式中公司的新类型、新默认类型一样。事实是,我们还不知道,对吧?我认为现在判断人工智能初创公司的确切……
方法还为时过早。这就是为什么它作为投资者也超级令人兴奋的原因,因为事实是你不能应用你在软件中使用过的相同策略,对吧?在软件中,你已经非常成熟了,你已经有了策略,对吧?你需要一个联合创始人、首席技术官、首席执行官、小型团队,然后你进行精益创业,然后你进行融资,然后你获得最高的成功概率。
如果人工智能完全不同怎么办?例如,大多数创始人现在不再是软件工程师了。他们是科学家。这是一个完全不同的游戏。精益创业不再有效,因为他们需要大量的资本投资才能获得任何回报。所以我的意思是,它完全改变了游戏规则。
你必须忘记你所学的一切,你所内化的一切,从头开始。有趣的是,我以为你会谈论这个话题
人工智能公司或使用人工智能的公司可能只有几个人,却能获得巨大的产出,因为他们只是使用这些基础模型公司提供的API。利用少量员工为客户创造巨大的价值,这具有极大的杠杆作用。你完全采取了相反的方向,我认为这相当具有反叛性,并说,
大多数人工智能公司,或者也许你说的是大多数部署到人工智能的资金,都需要新的基础模型。因此,它们将成为令人难以置信的大规模投资,以便在许多不同领域取得这些阶跃式进步。
我听对了吗?是的。是的。我认为事实是没有人知道。所以我并不是说我100%确定它会朝着那个方向发展,但我是在说这是可能的。这就是为什么看到它在未来几年如何发展令人兴奋的原因。一个简单的获胜方法是,基础模型公司消耗的资金如此之大,即使有成千上万倍的普通初创公司正在消费
人工智能公司提供的API,仍然是大多数投资资金实际上会流向基础模型和大型训练运行。我的意思是,如果你看看目前一些成功的公司,如果你看看Hugging Face,如果你看看OpenAI,像这样的公司,我认为他们不是
以你期望软件公司行动的传统方式行事,对吧?也许在OpenAI,他们从十亿美元的融资开始,进行了六七年开源、开放科学,然后启动了一个全新的模型。对于Hugging Face,我们在多年来完全开源运行,真正由社区驱动,这与每个人告诉我们应该做的事情非常不同。
所以我认为,真正抛弃策略,抛弃软件范式的经验教训,这一点值得一提。
并且真正从头开始,也许从第一性原理开始,建立一个新的模型,一个新的策略。Hugging Face作为一家公司是否特别资本密集型?如果是,为什么?我们没有。所以到目前为止,我们在七年内筹集了超过5亿美元的资金。我们实际上只花了不到一半的钱。
我们很幸运能够盈利。恭喜。这对大多数人工智能初创公司来说很不寻常。我们与其他一些人工智能公司有不同的模式。我认为你们在计算和训练方面的资本支出要求与OpenAI相比,肯定要少得多。是的,是的。我们已经有足够的用途
是免费的,我们有一个非常简单且非常宽松的免费增值模式。我们可以很容易地达到有意义的收入水平。我们肯定有一些特殊之处可以让我们做到这一点。这也是我们有意的决定,因为作为一个社区平台,我们希望确保我们不会只在这里待一年或两年,而人们会在你之上构建。
当他们为平台做出贡献时,我认为你对他们负有一定的责任,要长期存在。因此,找到一种不会阻止我们进行开源和免费分享大部分平台的盈利、可持续的商业模式。
对我们来说,能够交付给我们的目标社区非常重要。你的客户确实将Hugging Face用于非常资本密集型的事情,训练这些模型,但这不会体现在你的财务报表中,例如,“哦,我的上帝,我们不得不投入十亿美元进行训练运行”。你们在后端与云提供商合作,并将其传递给正在进行训练运行的任何人,对吧?是的。
是的,我们试图找到一种可持续的方式来做到这一点,要么是与云提供商合作,要么是提供足够的价值,以便购买计算能力的公司可以接受支付计算能力的额外费用,这使其成为高利润价值。
或者提供基本上是100%利润率的付费功能。例如,许多公司现在都订阅了我们的企业中心产品。
这是一个中心企业版,这显然与销售计算能力相比是一种不同的经济模式。是的,非常成熟的商业模式。你可以选择赚钱的方式。你是将计算能力加价吗?你是销售SaaS吗?你走的是企业路线,为每一次合作开发这个定制包吗?我非常好奇你选择在计算能力之上应用利润率或加价的路线。是什么?
因为你显然并不为此感到羞愧,我认为这是一个很好的商业模式。Hugging Face可以提供什么,让客户说,“是的,我会通过Hugging Face来做,而不是自己直接在云提供商那里弄清楚如何做”?我们从未对参与计算能力的降价竞争如此感兴趣。这是一个比许多人想象的更具挑战性的商业模式,尤其是在超级规模公司处于如此强大的地位的情况下。
无论是在产品方面,还是在现金流方面,对吧?赋予他们做许多其他组织无法做到的事情的能力。
所以我们考虑的方式是,与其参与这场降价竞争,不如我们尝试通过平台、功能和计算能力提供足够的价值,以便公司能够轻松地为此支付可持续的金额。例如,当你使用平台时,当使用推理端点或
或平台上的Spaces GPU时,其理念是它与平台的功能如此集成,以至于它实际上使你作为一家公司使用它作为捆绑包比只使用平台然后转向云提供商获取计算能力容易十倍。
所以我称之为锁定计算。它几乎就像不是你可以交易的计算,而且你从AWS、谷歌云或其他提供商切换对你来说并不重要。更多的是我们使体验更加无缝。
更不复杂,这是人工智能的游戏名称,对吧?人工智能对大多数公司来说仍然很复杂。最终,是的,公司为此支付更多费用。但与其拥有10名机器学习工程师,不如他们拥有1到2名。另一种选择是你的AI研究人员正在研究模型。然后,当你想训练或部署它时,
不是通过Hugging Face。你基本上需要另一个由人工智能基础设施部署工程师组成的团队,对吧?是的,是的。正如我们之前提到的,我认为在人工智能的早期阶段,在人工智能货币化的早期阶段,今天,没有人知道人工智能的盈利、可持续的商业模式是什么,对吧?即使是大型参与者。我的意思是,OpenAI当然正在产生大量收入。
但是这个收入的盈利能力和可持续性问题是
仍然是一个悬而未决的问题。我认为他们会弄清楚,我希望他们会弄清楚。但我们在弄清楚人工智能的商业模式方面还处于早期阶段,还有很多东西需要构建。所以这非常令人兴奋。我会说你并没有弄清楚任何商业模式。你正在使用经过时间考验、行之有效的方法来赚钱,你在价值链中的特定部分占据了一席之地,你正在构建
为开发人员提供丰富的体验。他们愿意直接为此付费。他们愿意在略微昂贵的计算链中为此付费。好的一面是,你可以对所有人工智能事物进行创新,而无需从头开始构建商业模式。这些基础模型公司是
这就是商业模式存在重大悬而未决问题的地方,尤其是在与所有这些人工智能聊天风格代理交互的消费者期望是,对于大量功能来说,这是免费的。是的。我们所处地位的美妙之处在于,如果你是AI构建者使用的第一大平台,如果AI成为构建所有技术的默认方式,
很明显,这周围存在一种可持续的大规模商业模式,对吧?否则,我们就是在做错事。这就是为什么我们如此关注使用情况和社区的原因。
因为我们相信,如果我们继续弄清楚这一点,如果我们继续引领使用和采用,我们继续赋能社区使用我们的工具并通过我们的工具取得成功。未来对我们、对Egging Face以及希望对社区来说都会有好事发生。
有些企业是完美的。就像你分析它们一样。Visa就是一个很好的例子。你会想,伙计,这个商业模式基本上没有什么问题。如果你持有Visa的股票,那么关于它的所有事情都只是光荣的。除了Visa之外,每家企业都有这些事情,你会想,这是这家企业的一件特殊的事情。这是我心中的一根刺,因为我在经营这家企业时,我无法摆脱这种令人讨厌的事情。我们已经谈了很多
你在新兴人工智能生态系统中所处非凡地位的所有方式。你必须处理的事情是什么,你会想,“哦,这是我心中的一根刺”?对我们来说,我们必须几乎从我们正在赋能的社区中退后一步。这有点像平台的诅咒。
例如,如果你考虑GitHub,它可能是过去20年中赋能构建技术方式最多的公司,对吧?因为几乎所有软件工程师都使用GitHub作为协作构建技术的方式。
然而,人们并没有谈论他们,对吧?就像不谈论产品一样。它不像Facebook、谷歌或这些公司那样引人注目。所以我们有一种诅咒,我认为是可见性,也许是性感。就性感和热门程度以及人们谈论我们而言,我们永远不会像OpenAI那样,并且总是有点像待在幕后。
然而,在过去,当GitHub处于早期阶段并且是一家初创公司时,它非常……1亿美元的A轮融资。我仍然记得它。我肯定记得。它非常热闹。但正如你所说的,作为一家基础设施公司或一个大型开发人员,在你的情况下,人工智能构建者平台,你更多的是幕后工作。另一个挑战是,是的,人工智能正在成为主流使用。
但如果你真的仔细观察,底层技术基础仍在快速发展。因此,在构建成熟、稳定的平台和解决方案之间存在持续的斗争,但与此同时,要足够快地进行创新、迭代,这样你就不会错过下一波浪潮。所以对我们来说,更像是作为一家公司构建战略,
这是我们一直担心的问题。我们公司有250名团队成员。我们说我们总是希望团队成员数量比我们的同行少一个数量级。就像我们可以有2000人,但我们更喜欢有202000人,以此来协调构建速度非常快但构建可扩展工具之间的这一难题。
这绝对是我们面临的一个重要挑战。这是一个很好的观点。你刚才提到了这一点。我还没有真正考虑过,你知道,我们可能仍然处于基础模型公司的雅虎、AltaVista时代。他们中的许多人都非常成功。你了解他们。正如你所说,他们赚取了大量收入,但他们是不是从根本上来说已经盈利了?可能不是。我认为我们是。即使你考虑公司如何
使用人工智能进行构建。对我来说,使用API的人工智能公司听起来非常不直观,或者听起来不像构建人工智能的最佳方式,而更像是一种过渡时期,在这种时期,这项技术对于所有公司来说仍然有点太难了,无法自己构建人工智能。
但如果这种情况没有发生,我会感到惊讶。这几乎就像软件的早期阶段,你必须使用,我不记得当时是什么,但就像Squarespace一样,你必须使用一种无代码界面
平台来构建网站。Dreamweaver和Microsoft Frontpage。是的,是的。在科技公司能够学习之前,在软件工程师能够学习自己编写代码之前,我们可能处于人工智能的同一时期,公司使用API是因为他们还没有建立能力、信任和自己进行人工智能的能力。
在某个时候,他们会。他们了解他们的客户。他们了解他们的约束。他们知道他们提供的价值。在历史上某个时刻,所有科技公司都将成为人工智能公司。
这意味着所有公司,所有这些技术,他们都将构建自己的模型,优化自己的模型,微调自己的模型,以适应自己的用例、自己的约束和自己的领域。我认为这也很有反叛性。在我参与这次谈话时,我会落入相反的阵营,即会有
五到八个参与者,甚至可能从那里进一步整合,他们需要每隔几年花费100亿到1000亿美元。没有其他人有能力花费或吸引这种研究人才。因此,我们都使用他们的API。
而你提出了一个非常相反的未来。是的,我的意思是,我有点偏见,显然,这是因为我们看到的用法。好吧,你比我们更接近它。正如我所说,每10秒钟就会在Hugging Face上构建一个新的模型、数据集或应用程序。
所以我无法相信这些新模型只是为了新模型而创建的。我认为我们看到的是,你需要新模型,因为它们针对特定领域进行了优化。它们针对特定的延迟、特定的硬件和特定的用例进行了优化。
因此,它们更小、更高效、更便宜、运行成本更低。因此,最终,我相信在一个模型数量几乎与今天的代码库数量一样多的世界中。实际上,如果你考虑今天的模型,
它们在某种程度上类似于代码库,对吧?这是一个技术栈。模型就像一个技术栈。所以我无法想象只有少数参与者会构建技术栈,而其他人只会尝试通过API ping它们来使用他们的技术栈。
所以我设想了一个有点不同的世界。是的,这是有道理的。你的评论中隐含的意思是,99.9%的模型训练和推理成本低廉,而且它们体积小,并且是专门构建的。在过去三年中发生的一件好事是,这些所谓的上帝模型似乎能够比…… 所有专门的模型做得更好,人们在之前花了十年时间构建这些模型,但这只是时间上的一个短暂现象。随着每个人对最新技术的掌握越来越好,我们将转向专门的廉价模型,处理大量劳动。是的,或者介于两者之间,对吧?它总是一种渐变。我认为有些公司、一些环境、一些用例需要非常大型的通才模型。
例如,当你使用ChatGPT时,是的,当然,你需要一个大型通才模型,因为你的用户会问任何问题。但是当你构建一个银行客户支持聊天机器人时,你并不需要它来告诉你生命的意义,对吧?因此,你可以节省一些参数,以确保你的聊天机器人更小,并且
已经针对与你相关的、将花费你更少成本、将更快回复的数据进行了更多训练。这当然也取决于你计划使用人工智能的用例。如果你正在收听这个节目,并且正在考虑创办一家公司,正在考虑创办一家AI公司,也许你有一个用例或垂直用例知识你想追求。
如果你认同你说的话,例如,“嘿,你可以使用API,但最终你真的想构建你自己的模型”,那么你需要团队中具备哪些成分和技能?你需要构建你自己的模型并构建一个优秀的模型吗?
对我来说,软件范式和人工智能范式之间的主要区别在于,人工智能比软件更受科学驱动。这有点矛盾,因为在软件中,有时我们称人们为计算机科学家,对吧?但现实是,他们并不是真正意义上的科学家,对吧?这是一个误称。他们是工程师,是的。这总是让我很困扰。
在大学学习计算机科学。所有其他科学都是发生在我们自然世界中的事物,生物学、化学、物理学。而计算机科学则像,“不,你正在学习人造事物是如何工作的以及如何操作它”。是的。所以对我来说,这就是软件范式和人工智能范式之间的主要区别。因此,当涉及到创始团队和能力时,我认为拥有更多科学背景是
实际上是一种必须。拥有一个科学家联合创始人,我认为这是一个很大的优势。如果你看看大多数成功的人工智能公司,他们实际上都有一个科学联合创始人。我们在Hugging Face就是这样。我认为OpenAI当然也有,与Ilya一起。这是一件大事。
你会如何描述传统软件初创公司的思维方式和技能与你需要的工程技能之间的区别,以及科学家技能和研究技能之间的区别?时间安排大相径庭。以及你如何看待构建某些东西的速度、交付某些东西的速度。
当我更多地参与软件初创公司时,对吧,我们有快速交付的教条。这对于人工智能来说可能并不完全正确。
我认为你希望尽快交付,但实际上,训练和优化模型最多是几个月而不是几天的问题。所以你可能希望不同地看待你的交付方式、交付速度以及你如何迭代事物。技能……
也大相径庭。我认为人工智能科学家在数学、纯数学方面的潜力可能比工程师更大。我认为更多地考虑的是,“我如何才能在现有技术的基础上取得基础性或有意义的进步?”你正在考虑
更大的改进规模。我认为在软件范式中,你几乎可以这样想,“好吧,如果我的产品比其他产品好5%,就足够了,因为我现在会让它好5%。然后两周后,再好5%,两周后,再好5%。在某个时候,你将拥有足够的附加值差异来获得用户、说服用户并留住用户。
对于科学来说,这几乎就像你没有创造任何价值一样,你花了六个月的时间做某事,然后六个月后,你拥有的东西比现有技术好十倍。在某种程度上,这就是OpenAI所做的。他们工作了六年,几乎没有发布任何东西或任何成功的东西,但在某个时候,他们能够发布一些可能比其他东西好十倍的东西
所以这是一种不同的看待方式。我对此持反对意见。我认为这有点修正主义的历史观。我相信你一直在密切关注OpenAI。感觉他们一直在发布各种各样的东西。没有任何商业价值,所有这些都感觉非常具有研究性。但他们用侠盗猎车手训练Universe的那件事,我的意思是,GPT和GPT-2,它们在主流中并不为人所知,但它就像,
观看那件事非常了不起。我认为他们全力以赴地投入Transformer,并决定,嘿,我们需要从根本上改变我们正在从事的工作。我认为这家公司发展得非常快,发布速度也很快。现在他们的发布速度比以往任何时候都快,因为他们实际上正处于这场军备竞赛中。我绝对不认为他们是那种离开、思考、建设十年,然后最终发布一些东西的公司。他们确实发布了很多东西,但与他们的规模和体量相比,知道他们是从10亿美元的投资开始的,
也许他们每三个月或每六个月发布一件东西。因此,相对于他们的规模、体量和他们筹集的资金数量,我认为他们发布的东西比典型的软件公司用他们的预算要少得多。但我同意你的观点,这是一种迭代的方式。我想说到这一点,如果你有一个大型模型,你不会去做……
持续部署,因为你必须重新训练模型,如果不是别的什么的话,对吧?是的,这只是不同的方法。我给人们的最佳建议是在他们开始人工智能公司时扔掉他们的精益创业书籍,因为我认为这些事情已经深深地根植于
我们的思想,我们的构建方式,就像软件企业家一样,很容易陷入陷阱而不自知,而是完全改变范式,改变创业者的操作系统,在我看来,这会导致更好的结果。
好吧,克莱姆,这让我们谈到了一个我一直想问你的话题,我认为这将是我们今天最后一个主要话题。在讨论开源与闭源人工智能哪种方法将在市场上胜出的问题时,有一个相当有说服力的论点,那就是随着越来越多的公司
训练数据是实时训练数据是必需的,人们与应用程序的互动将变得非常有价值,可以微调或训练模型的下一个版本。有一种说法是,闭源人工智能将获胜,因为他们将直接从
从用户那里获得所有这些信息,当你拥有模型和应用程序并且你将所有东西紧密集成在一起时,而在开源世界中,就像,太好了,你发布了一些东西,然后很多人分叉它,他们构建自己的应用程序,然后与应用程序的实时交互数据不会一路回溯到上游,使模型更智能。你怎么看待这个问题?
好吧,我认为很多人都在思考和谈论人工智能的模式和规模经济。我认为所有这些在目前都是开放性的问题。我认为没有人真正知道如何创建一个模式或如何为人工智能创造规模经济。我的直觉是,它们与软件范式不会有太大区别。
你会发现同样的模式,也许应用方式不同,但你会拥有成本
规模经济,对吧?可能类似于云提供商或硬件提供商,他们可以从更大规模中获得优势以降低价格。我认为你会拥有社会模式或网络效应,对吧?这更像是我们参与的游戏,当你拥有协作使用时,你
在某种程度上,你的平台的用户越多,它就越有用。因此,它使任何人都难以与你竞争,对吧?这就是为什么GitHub从未真正受到挑战,或者这就是为什么社交网络可以说是很难与之竞争的原因。
它们可能比软件范式更强烈。因此,计算的成本模式可能更极端。但这是一个悬而未决的问题,因为,你知道,如果你考虑当前的赢家,一些当前的赢家,他们一开始并没有那么多的优势。如果你看看OpenAI,
他们并没有比大多数公司获得更多的数据访问权限,对吧?他们最终抓取网络并获取其他每个人都可以获取的数据。如果你看看Hugging Face,我认为一开始,我们没有任何特殊的优势,除了……
像我们一样社区驱动,这使我们能够发展社交网络效应。这仍然是一个悬而未决的问题。我会小心那些人和公司
有点夸大其词,并且过度炒作某种模式与其他模式相比。即使你从道德上考虑,以及我们需要的世界,我希望我们不会只有几家公司获胜。如果我们最终只有五家公司在人工智能领域获胜,那将是一件令人羞愧的事情,这将是相当悲哀的。
我认为这将是危险的,对吧?想象一下,如果只有几家公司能够做软件。我们将生活在一个与今天截然不同的世界中。我希望许多公司都能获胜。我认为这项技术的影响力足够大,以至于获胜的人工智能公司可能比获胜的软件公司还要多。
在过去,这对我来说将是非常令人兴奋的。你提出了一个非常可信的论点,即它将比以往任何时候都赋能更多的人来构建产品。因此,有理由认为,与以往任何一代相比,这一代应该有更多公司或至少更多尝试创业的公司能够满足特定的客户需求。人工智能是本世纪改变现状的机会。
打破垄断,打破既定的地位,做一些新的事情。我很想知道我们是否需要更多的人接受如何成为人工智能构建者和人工智能科学家的培训?或者我们需要更容易使用的工具和基础设施,或者两者兼而有之?
两者兼而有之,但我认为获得比今天更多的人工智能构建者更为重要。如果你看看Hugging Face,正如我所说,我们有500万人工智能构建者,对吧?所以我们可以假设大多数人工智能构建者都以某种方式使用Hugging Face。因此,您可以估计当今世界上大约有500万人工智能构建者。可能……
大约有5000万软件工程师或软件构建者,这取决于你如何设置这个定义。我认为GitHub拥有超过1亿用户。他们中的许多人显然不是软件工程师,但可能有一半是。所以我们仍然处于早期阶段,对吧?如果几年后人工智能构建者比软件构建者多,那也就不足为奇了,对吧?所以也许几年后你会有
5000万,1亿人工智能构建者。甚至更多,因为人工智能的美妙之处在于,它在一定程度上比软件更不受约束
人们可以为之做出贡献的方式。在某种程度上,要成为一名软件构建者,你必须学习一门编程语言并编写代码行,这是一个相当高的进入门槛。而对于人工智能来说,如果你贡献专业知识,如果你为改进模型的模型贡献数据,你就可以被认为是人工智能构建者。
也许我们将拥有比软件构建者多10倍的人工智能构建者,这对世界来说也是一件好事,因为它意味着更多的人可以贡献,可以理解,并且可以塑造事物。
这项技术更符合他们的意愿。我认为有时在旧金山、硅谷或科技领域,我们忘记了只有一小部分人在为更多的人塑造产品。而如果你可能让更多的人参与到构建过程中,你不仅可以构建更好的产品,还可以构建更具包容性的产品,也许可以解决比我们已经解决的更多社会问题的产品。
所以这绝对是一个令人兴奋的未来。好吧,克莱姆,我想不出更好的地方来结束它了。听众应该去哪里了解更多关于你或Hugging Face的信息或参与其中?
Huggingface.co,实际上是.com。我们几天前才拿到.com。嘿,恭喜。是的,这是一个很好的例子,说明你早期不应该为小事而烦恼,对吧?我们的名字,Huggingface,对于我们所做的事情来说显然非常不寻常。我们的域名,大约七年来,我们一直保留着Huggingface.co,但这并没有给我们带来太多问题。
我在Twitter上。我在X和LinkedIn上分享了很多内容。所以你可以在那里关注我或向我提问,我很乐意回答。太棒了。非常感谢你。听众们,我们下次再见。我们下次再见。