Runway focuses on generative AI diffusion models rather than large language models (LLMs). They build multi-modal AI systems and tools for multimedia content creation.
Joel had a background in both creative and technical fields, studying computer science and English. He worked on ML projects for comedy writing and in creative tooling startups like Figma and Sourcecraft before joining Runway in 2023.
Joel leads the product team at Runway, overseeing collaboration across teams, including researchers, engineers, designers, and users, to ensure the development of creative AI tools.
Runway is a remote-first company with offices in New York and San Francisco. Employees can work from anywhere, but the company gathers for in-person events like film festivals and offsites.
Runway aims to enable anyone to tell any story they can imagine at the highest quality possible, eliminating the need for large VFX budgets.
Runway offers features like multi-motion brush and camera controls, allowing users to have granular control over animations and effects, such as zooming while moving or making objects float.
Runway's users span industries, including Fortune 500 companies, freelancers, marketers, film studios, and even artists like Madonna and A$AP Rocky, who use the platform for music videos and live performances.
Runway has enterprise-grade security measures, including automatic moderation systems, C2PA authentication for media provenance, and user controls for data deletion. They prioritize privacy and security as model capabilities grow.
Runway employs visual and text moderation systems, C2PA authentication, and ongoing investment in alignment and safety measures to prevent the misuse of its tools for creating harmful content like deepfakes.
Runway is focused on building general world models that understand the entire visual world and its dynamics. Their latest Gen-3 Alpha model is a step toward this goal, with ongoing improvements in understanding and simulation.
Runway是一家应用AI研究公司,致力于构建多模态AI系统、模型部署基础设施以及利用AI进行多媒体内容创作的产品。他们是少数几家备受瞩目的视频生成初创公司之一,并从谷歌、英伟达和Salesforce Ventures等投资者那里获得了巨额资金。
该公司最近发布了Gen 3 Alpha模型,该模型在视频和图像上联合训练,并将为文本转视频、图像转视频和文本转图像工具提供动力。Joel Kortler是Runway的集团产品经理。他与Gregor Van一起参加播客,讨论Runway及其正在开发的技术。
Gregor Vand是一位专注于安全的技术专家,是MailPass的创始人兼首席技术官。此前,Gregor曾在网络安全、网络保险和通用软件工程公司担任首席技术官。他已在亚太地区工作近十年,可以通过他在vand.hk上的个人资料找到他。
嗨,Joel,欢迎来到Software Engineering Daily。感谢你的邀请。是的,Joel,很高兴今天能邀请你。你来自Runway公司,Runway平台。我们很快就会听到关于Runway的一切。它处于LLM AI领域,只是为了说明这一点。我现在之所以这么说,是因为我认为在了解你加入Runway之前的经历会很有趣。当然。加入Runway的历程是怎样的?
是的,当然。我们稍后会更深入地讨论这个问题,但Runway并不属于LLM领域。它更像是生成式AI扩散模型领域。这是一个很好的区别。所以,谢谢你澄清这一点。不用客气。
我在加入Runway之前的经历以几种奇怪的方式直接把我引向了Runway。我一直以来都对创意世界和更技术性的产品、工具世界都感兴趣。在大学里,我学习的是计算机科学和英语,并且总是在这两个领域之间来回切换。
所以我实际上加入了一个小组,这个小组在2018年左右做的是用于喜剧写作的机器学习,叫做Botanic Studios。它融合了ClickHole、Onion Writers和机器学习博士。我们只是在当时玩弄像马尔可夫选项、对抗性神经网络之类的生成式机器学习模型,看看我们能否生成任何有趣的东西。我们训练了
预测文本键盘并匹配语气,或者,你知道,从神经网络中获得大量输出,然后让喜剧演员筛选出有趣的部分。所以我想,这在我一直关注的领域中,机器学习何时或如何加速创造力和你想创造的东西,
与此同时,在我的职业生涯中,我一直都在一些创意工具领域的初创公司工作。我在Figma工作过,在Sourcecraft工作过一段时间。总是为我定义中的创意人员构建东西,包括工程师,包括设计师,因为我有点自私。你知道,我喜欢使用的工具和产品,以及我认为喜欢他们东西的人。这是你能做的最酷的事情。所以为人们构建工具。
总是很有趣。所以这些东西开始结合起来,或者说开始交叉。在2022年末,我感觉,你知道,由于Botnik的工作,我想也许应该从产品方面的传统工具构建中退一步,我一直关注着GPT-3。它变得非常有趣。一些图像模型,感觉就像,哦,我们正处于一个可能会有巨大飞跃的边缘,突然之间,使用技术进行创作的意义是什么。而且
最终,你知道,有点像,“好吧,肯定已经有公司在这个领域做有趣的事情了,对吧?”当然有,那就是Runway。所以这是一种完美的结合,就像,好吧,突然之间我不必再像一只脚在创意喜剧方面,我住在洛杉矶,我偶尔做一些脱口秀,一只脚在科技创业方面。我可以两只脚都全力以赴。所以我于2023年初加入了Runway。
是的,这太吸引人了。我想我从未想过机器学习和喜剧会进入同一个领域。尤其是在2018年,这显然对任何这类事情来说都非常早。所以非常有趣。你今天在Runway的职位是什么?
是的,在Runway,我领导产品团队。我有一份非常令人兴奋和有趣的工作,可以与Runway的每个团队合作,甚至与Runway之外的人合作,比如我们的用户、客户,你知道,那些正在尝试这些东西并给我们反馈的人,一直到研究人员、工程师、设计师,他们致力于构建产品,确保我们通过销售和营销团队以及我们的社区团队有效地沟通。所以Runway可能像一个传统的创业团队。
平方,因为我们拥有所有传统的团队,并且我们拥有所有这些非常令人兴奋的额外团队,例如我们的创意团队和研究团队,除非你像Runway那样,否则你可能不会在早期创业公司找到这些团队,我的意思是,你今天坐在洛杉矶,我相信公司总部设在洛杉矶,对吗?
Runway实际上是一家总部位于纽约的远程优先公司。我们在纽约有一个办公室,在旧金山也有一个办公室。然后我们有远程优先,这意味着即使你在纽约、旧金山,也没有每天必须来办公室的要求。你随时都可以回家。但这很有趣,你知道,每年一两次,我们都会在办公室聚在一起参加我们的电影节或公司活动,然后一起工作一两周,见见大家。
明白了。我想我很好奇洛杉矶的联系,以防万一,你知道,最终很多电影制作等等都在那里发生,以及是否在那里有战略性的帮助。是的,我认为居住在这里肯定是有用的。我认为我们还有其他一些人在洛杉矶,这只是,同样,一种自然而然的情况,那些真正对这个领域感兴趣的人在洛杉矶,他们也对机器学习方面感兴趣。所以他们加入了Runway。太棒了。
那么让我们深入了解一下产品。正如你所说,它不是LLM。它是生成式AI。感谢你的更正。让我们来了解一下Runway。Runway是什么?Runway是一家非常罕见的公司,因为它是一家全栈应用AI研究公司。因此,我们既发明又构建这些AI模型。然后我们也发明并构建其上的工具。
这真正解锁了新的创造形式,并简化了从概念到最终产品的整个创意过程,几乎适用于你能想象到的每一个用例。这是一个非常独特的地方,因为我认为这是目前技术领域最有趣或最有趣的两个领域。它是关于可能性的研究方面。然后是,如果可能的话,我们与之互动的方式。
Runway作为全栈公司,拥有这两者,你甚至不必分别处理它们,你知道,但它们都在那里。你就像,它们实际上可以相互影响。因此,我们可以将从我们的产品中获得的经验直接反馈给研究团队。同样,我们可以将研究实验直接转化为新的产品实验,而如果这些是独立的公司,我们无法做到这一点。
所以,我的意思是,如果我是一个用户——我只是想为我们的听众描绘一幅画面。如果我要进入Runway,我首先会做什么?作为用户,输出对我来说是什么样的?是的,好问题。人们通常首先做的是进入Runway,然后进入我们的Gen 3 Alpha模型,这是最新版本的视频生成模型。然后你可以从一个简短的文本句子或一张图片开始,例如一只狗在气球组成的田野里奔跑。
它会生成一段这样的视频。或者,你知道,我们经常看到人们使用他们拍摄的实际照片,然后添加一些有趣的视觉效果,而你永远不会。所以,你知道,一张我厨房里充满气球的照片,它基本上会创造出这种效果,而不需要传统的管道,这需要很长时间才能完成。是的。我认为从我读到的内容来看,我的立场之一是人类想象力的工具。而且,你知道,我认为对JNI领域中任何东西的批评,例如音乐或艺术,你知道,我认为很多人对这种观点有意见,好吧,现在是谁在做想象力方面的工作。那么你们是如何看待这个问题的呢?我的意思是,在辅助想象力而不消除人类思考需求方面?
是的,我认为Runway最棒的一点是,从一开始,这个问题就被有效地解决了,因为Go的创始人都在纽约大学的一个艺术科技项目中相遇,他们都身处艺术和科技领域。所以从来没有这样的问题,
哦,一些技术人员拥有这个模型,他们可以做一些有趣的事情,比如如何让艺术家参与进来,它就像,你知道,从第一天起,公司的DNA就是艺术家和技术人员的结合,我们真的看到,随着我们的发展,我们聘请了很多员工,你知道,他们可能是工程师,但他们也是业余的视觉艺术家,或者像我们的直接创意团队,我们有一个非常庞大的内部创意团队,所以从来没有,你知道,我在考虑加入Runway时评估的事情之一是,是否有机会
艺术家和科技的需求会发生分歧。很明显,在Runway上永远不会发生这种情况,因为它是艺术家为艺术家创建的。它将专注于为人类构建工具,而不是构建人类不参与的工具。明白了。好的。让我们来看看输出实际上是如何发生的。我们只是在谈论速度与质量,我想。
这是人们使用任何类型的生成式AI工具时需要考虑的最重要因素之一。当然,你可以快速获得结果,但它感觉像是一件令人难以置信的事情吗?你们从产品的角度如何平衡这一点?
是的,好问题。我认为这甚至可以追溯到这样一个问题,即它如何增强人类的创造力?速度是其中很大一部分,对吧?因为它极大地提高了你迭代想法的速度。当你看到一些真实的东西时,这与想象我的样子非常不同,它可以激发新的想法。所以这真的加快了速度。
但同样,质量必须非常好,对吧?为了让这真正有趣,你必须真正看到并对它做出反应,哦,那个真的,所以那个镜头,你知道,真的不是我想要的。我不会朝那个方向走。所以我们真的专注于两者。两者对创造过程和人类创造的方式都非常重要。因此,我们做得很好,我认为,收集了很多来自客户的反馈,以确保我们有效地平衡这些需求。但最终,我们在过去一年半的研究中发现,两者都得到了显著的改善。
所以,你知道,Runway制作内容。就像如果我只是看看Runway的网站,例如,看看所有的例子,对我来说,我还没有见过任何类似的东西。与此同时,再次,今天的听众可能会想,哦,我已经使用这个其他工具来进行生成式AI,无论是图像还是视频领域。你会如何开始真正描述这种差异?我的意思是,我知道有一些
功能被提出,例如多运动画笔和相机控制,你能谈谈这些吗?然后,你知道,还有其他任何方面,关于你如何定位这个,是的,好问题,我很乐意谈谈这些功能,我认为我会说,总的来说,不同的功能几乎只是像
你知道,Runway最专注于构建工具的原因的结果。因此,我们与创意人员非常密切地合作,以了解他们的需求以及他们的工作流程走向何方,例如。因此,我们有一些控件,就像你提到的那样,多运动画笔相机控件,它可以让你进行非常直接的相机级别控制。我想在向右移动时放大,或者我想让这三个弹珠从桌子上掉下来,但我希望这两个弹珠漂浮到空中。
以及你真正创造有趣和独特内容所需的那种细粒度控制。但更广泛地说,你知道,Runway有一个非常稳定的愿景,在我加入公司以来,自公司成立以来,那就是我们认为这项技术将使任何人都能够以他们所能想象到的最高质量讲述任何他们能想象到的故事,对吧?你不需要1亿美元的视觉特效预算来讲述你想象中的科幻故事或你想象中的商业广告。因此,
这推动了我们的许多研究和许多产品更新。因此,作为用户,你会看到这种效果,你最终会得到所有这些非常独特的功能,因为我们知道你需要这些控制,但它也我认为推动了我们的研究愿景,并推动了我们构建产品的方式,那就是我们尽快发布产品,以便我们可以将其交付给用户,并了解它的用途以及我们应该如何继续改进它。
是的,我的意思是,如果我是一个用户——我只是想为我们的听众描绘一幅画面。如果我要进入Runway,我首先会做什么?作为用户,输出对我来说是什么样的?是的,好问题。人们通常首先做的是进入Runway,然后进入我们的Gen 3 Alpha模型,这是最新版本的视频生成模型。然后你可以从一个简短的文本句子或一张图片开始,例如一只狗在气球组成的田野里奔跑。
是的,我的意思是,只是稍微偏离纯产品一会儿,你知道,你已经几次谈到用户和客户以及反馈了。所以,目前你会说谁是,在哪些领域,尤其是在商业上,显然不需要确切的名字,但在商业上,谁在使用这种工具?是的,只有我,实际上。我认为我是我们唯一的用户。我只是整天在不同的机器上尝试假装它是,你知道的,我在开玩笑。我认为Runway的惊人之处在于……
我们有很多用户,几乎来自每个领域、每个行业、每个垂直领域,这确实让我们更加坚定地坚持我们的理念,让我们发布这个产品,以便我们可以发现我们甚至没有想到的案例,因为我们只在这个行业或那个行业有经验,或者我们本周只与那个客户交谈。
因此,我们真的看到Runway的工具被从财富500强、全球2000强公司到自由职业者、营销人员、电影工作室使用,讲述各种类型的故事,简化他们的工作流程。但即使超出了传统的,好吧,长篇视频内容,我们也有用户使用它进行预可视化和故事板,以比使用传统工具快得多地探索各种不同的方向。
我们有编辑人员在Runway中生成视频,然后将其合成到现有镜头中,以便他们可以完成最后阶段棘手的视觉特效,这真正为其他需要很长时间才能完成的东西增添了光彩和光泽。我们甚至有像麦当娜、A$AP Rocky这样的艺术家使用Runway为他们的演出创作音乐视频或视觉效果。所以它真的扩展到了各个领域。我会说没有像这些人使用Runway一样。每个人都在使用Runway。
是的,好的。这很有趣。我喜欢这些例子,尤其是音乐的例子,在那里你意识到实际上很多出现在他们表演时背后的屏幕上的东西都是这些循环
视觉效果,这可能过去需要很长时间才能弄清楚。现在我可以想象更多创造力,有效地,就像你可以看到很多想法,实际上几乎是最终产品,然后选择一个。这是一个很好的例子吗?是的,这就是我们看到人们使用Runway的方式之一。是的。除了音乐的例子之外,我的意思是,我认为你刚才提到了故事板和在线
显然,这传统上一直是人们真正拥有职业生涯的东西。你是否认为会出现一种趋势,即那些已经在该行业工作的人实际上正在转向成为Runway的大师?也许不是今天,今天,但那是一种途径吗?是的。是的。我的意思是,我认为我们看到的是,在传统的娱乐和视觉特效领域有很多员工,他们是
Runway最早和最兴奋的采用者之一,因为对他们来说,它加快了他们工作流程中可能感觉较慢的部分,或者他们会与某人合作,让他们对某些事情进行一些反馈,他们必须更改,这需要很长时间才能进行更改并创建流程。所以我认为我们看到
我们感到兴奋的是能够加快有趣的部分,那就是你想讲述的故事,你知道,进入细节,创造你自己的愿景,而不用担心,好吧,现在我必须手动,你知道,使用粒子编辑器或任何其他东西来创建这种效果。是的,这说得通。所以回到产品方面,
首先,让我们先谈谈功能。然后我们可能会更深入地了解一些技术方面。所以对于产品功能,我只是很好奇,从路线图的角度来看,你们是如何确定……我在想的是,为像Runway这样的东西开发一个功能一定需要很长时间。所以它可能不能是这种非常快速的迭代。它必须更周到,但是……
是的,你告诉我,你们是如何弄清楚的?是的,我听到你说这话。在我的脑海里,我想,如果速度慢的话,我的生活会有多么不同。实际上速度很快。它很快,而且随着我们的发展,它非常令人兴奋,因为我们有很多快速的事情堆叠在一起。所以感觉好像每周总有一些大事发生,这很棒。我认为我们随着时间的推移发现,我提到的那种愿景,我们正在为人类构建工具,这样你就能创造出你能想象到的任何东西。
最终目标是,你知道,为你能想到的任何东西创造顶级制作级别的质量。
在允许我们对短期路线图更灵活方面非常有帮助,我认为考虑到我们正在处理的类型的东西以及事情有时会加快或有时不会加快的方式,这是必要的。因此,我们能够在短期内更灵活地处理事情,例如,好吧,根据我们上次发布的内容,接下来最具价值的事情是什么?
有时这会发生变化,因为你知道,它让你从中学到很多东西,哦,我们发布了这个,例如,像运动画笔一样,突然之间它大受欢迎。人们真的很喜欢这种控制,然后他们想要更多。所以,好吧,现在我们必须朝着这个方向发展更多,而不是仅仅假设,你知道,你已经有了那件事,现在让我们回到我们在年初制定的路线图,九个月前。所以我认为我们采用了一种更灵活的机会导向的方法,这让我们能够如此快速地行动。
是的,我认为我的问题来自一个地方,最终,我根本不从事生成式AI工作。我只是一个消费者。所以对我来说,感觉就像,我该如何快速行动?但我认为听到这个消息很好。这听起来像是唯一可行的方式。所以这很有趣也很吸引人。
本期Software Engineering Daily由Leanware赞助播出。你的开发团队是否对所有事情都说“是”,但却无法交付任何成果?Leanware提供了一种全新的方法。他们是一支位于哥伦比亚的团队,提供顶级软件开发,具有完全透明度和世界一流的工程标准。他们在近五年时间里磨练了自己的技艺,坚持使用他们拥有高级专业知识的技术。这意味着永远不会在质量上妥协。
他们的C级高管始终可以联系,确保无缝沟通和真正的伙伴关系。此外,与美国处于相似的时区使协作变得轻松。不要满足于现状。与Leanware合作,可靠地完成软件开发。访问leanware.co或查看节目说明以开始使用。网址是leanware.co。Leanware,以卓越的质量和切合实际的期望重新定义软件开发。
让我们更深入地了解一下技术方面。我很感激你在产品方面,但你能解释一下关于模型背后的技术架构或平台本身的任何内容吗?
是的,我的意思是,我认为我们的总体方法来自产品和研究方面的观点,即以用户为中心,我们希望构建非常强大、非常稳定和非常易用的产品。因此,我们的方法是确保我们发布的东西符合所有这些类别,例如,我们不会在发布时出现峰值然后下降,或者我们不会出现人们无法理解如何使用产品的问题。
所以这就是我们的,我认为我们的技术方法是使其非常易于访问。我想技术和产品齐头并进的是数据隐私和安全。我来自安全方面,这有时会涉及到隐私,有时,大部分也涉及到隐私。但是,你知道,这显然在LLM领域,甚至在整个生成式AI领域一直是一个非常热门的话题。
你们是如何处理这个问题的?我的意思是,就用户的输入而言,你能简单地介绍一下用户甚至可以提供哪些类型的输入吗?然后,从隐私的角度来看,这又是如何被考虑的呢?
是的。几乎要反过来回答这个问题,你知道,我认为Runway在早期就提升了我们的安全和数据基础设施团队以及工具的成熟度,并了解到如果事情继续以我们预期的速度发展,那么我们希望这些已经到位。因此,就用户可以提供的内容而言,你知道,它会发生变化,并且随着这些模型变得越来越强大,它通常也会增长。因此,最初,你知道,对于我们的第一个文本转视频模型,它只是文本。
就像你可以提供一些文本,然后,你知道,之后你可以提供文本和图像,或者两者一起。然后,之后你可以提供文本和图像以及各种不同的方向,以及其上的其他样式修改。因此,我认为随着模型的改进,你知道,你可以提供更多的东西。因此,我们希望确保我们在安全和隐私方面的标准最佳实践方面领先于曲线。甚至,你知道,我们添加了一些额外的系统,我们觉得我们想要拥有。是的。我的意思是,所以,我不知道如果我,
当我使用Runway时,我可以上传照片、视频吗?这是一种我可以提供的输入吗?是的,没错。我们也有一个视频转视频模型可以使用。你可以给我们提供照片、视频、文本。这些是主要类别。我们有音频模型,你可以给我们提供成绩单或音频进行同步。
我想,是的,所以如果我要上传,称之为视频,那么我之后是否有控件可以删除平台上的视频?也许不是作为我创建的内容的一部分,但我是否有能力删除它?没错。作为用户,我们拥有所有你期望的企业级删除、数据保护、安全功能,你知道,如果你想的话。尽管我个人希望你不要这样做,尤其是在我们进行了这次谈话之后。如果你想删除你的Runway帐户,你知道,你也可以这样做。
不错。现在这几乎是所有想要生产商用 LLM 或 Genii 产品的人都会考虑的事情之一。现在这已经成为家常便饭,而且仍然很难绕开,但很高兴听到你们听起来像是从一开始就考虑到了这一点,所以这很有意义。
如果我们也看看内容是如何延续的。我认为我非常感兴趣的一件事,从技术方面和产品方面来看,如果我已经创建了一些东西,然后我想在一周后回去,我想再创建五件相同风格的东西,只是做一些调整。这有多难?
是的,我敢说一年前,这更具挑战性。然后我们从用户那里听到,你知道,他们提出了和你一样的想法。所以我们让它变得非常容易。现在,我认为只需按一下按钮,你就可以回到你用 Runway 创建的视频,直接重新使用所有设置、所有输入,你知道,来创建更多内容。然后你可以调整这些设置,你可以调整这些输入,你可以通过时间将其扩展到不同的方向,达到你想要达到的目标,但也许在一周前你没有完成。
你能描述一下这个过程吗?比如,如果我输入文字,这些文字是如何与视觉内容匹配的?对我来说,用外行人的基本术语解释一下。是的。总体的概念。你几乎可以把它想象成一种新型的相机,你控制它的方式与传统相机不同,对吧?传统相机只能拍摄你现实世界中能实际指向的部分。
而在这里,更像是这些模型对世界有理解。就像它们拥有世界,你可能使用你的图像或视频(取决于你使用的模型)来指导它
然后它有效地返回你所指导的内容。所以区别在于,相机不仅仅捕捉你此刻能展示给它的世界的一部分,它实际上拥有关于世界的知识。你只是导演,使用文本、运动笔刷或我们在产品中拥有的其他控件来提取内容并创建它。我认为 Runway 首页上的一个例子会很有趣,上面提到了牛。实际上,图片是……
我来自苏格兰,我们称之为高地牛。所以我很好奇,这两种东西是如何匹配的。如果我输入高地牛,我会得到高地牛吗?或者,我只是好奇,这并不是它来自哪里,内容来自哪里。因为我知道这可能是一个难以讨论的话题,但是,如果你明白我所说的文字如何与图像匹配,或者说图像,但内容。是的。是的。你是对的,仍然存在一些情况,你知道,这些仍然是非常早期的模型,我们预计未来几代产品会有很大的改进,你可以区分牛和高地牛,并且每次都能得到正确的结果。我认为我们看到的部分原因是模型仍在发展和构建它们对世界的理解。有时在 Runway 工作,你会想,哦,这个东西,它不起作用。为什么它还不工作?退一步想想会有所帮助,比如,
两年前,如果我们向任何人展示这个,你会像尖叫一样跑下街,哦,我的天哪,这太神奇了。你们必须看看这个。所以看到人们提高他们的标准和期望很有趣,因为,你知道,他们最终应该达到我们正在努力实现的愿景。
但我认为记住我们还处于早期阶段,这是它有史以来最糟糕的时候是有帮助的。哦,当然。是的,我并没有批评牛与高地牛的区别。我只是,而且它确实令人惊叹。当我看到这个例子时,我有了你刚才所说的那种反应。我有点跑下街,非常兴奋。
是的,我只是很好奇,我甚至不想称之为图书馆,因为图书馆这个词太糟糕了,只是这种匹配方式,这个系统如何知道如果我输入马克杯,它来自哪里?我想这就是。是的。这来自于它所构建的世界理解。我会说,尤其对于
独特的事物。我们与许多企业客户合作,他们发明了许多概念,甚至个体创作者也创造了一些在任何世界理解中都不存在的东西。这就是我们看到我们构建的许多定制工具和管道的地方
Runway,我们尤其与企业客户合作,这很有帮助,因为假设你正在制作一部科幻作品,你有一种像牛一样的生物,但你知道你刚刚创造了它,不可能知道它存在于世界上,因此能够根据你的创意愿景进一步定制模型,我认为这是我们非常重视的一个重要部分
明白了。是的,这超级酷。非常有趣。我可能应该触及到这一点,我想,就像数据隐私和安全问题一样。另一个人们在这个领域提出的问题可能是深度伪造的话题,我想,你能做些什么来防止这种情况发生,你知道,生成可能被认为是深度伪造的内容吗?
是的,当然。我们在产品中采取了一系列措施,并且有一大批专门从事这项工作的人员。我们有几个新的和改进的视觉和文本审核系统,这些系统对过滤我们认为不当或有害的内容进行自动监督。如果您熟悉 C2PA 身份验证,我们有 C2PA 身份验证,它类似于……
向您展示媒体是使用 Gen 3(在本例中为我们的 Gen 3 模型)创建的。一直以来,随着模型能力和生成高保真内容能力的提高,我们一直在继续投资
领先于我们的一致性和安全方面,这样,当您回到两年前,获得的可能是较小、像素化、抖动的镜头时,这就不那么令人担忧了。但了解事情的发展方向,鉴于我们在内部进行研究,我们一直能够领先一步,好的,在我们发布下一个模型之前,我们将需要这些新级别的系统。因此,这始终是我们的方法,以确保在发布之前这些系统到位。MARK MANDEL:是的,很高兴听到。
展望未来,从你能分享的内容来看,Runway 的发展方向是什么?你们认为哪些事情可能会进入 Runway?
是的,我们非常专注于构建通用世界模型,这些模型实际上是理解整个视觉世界及其动态的系统。大约一个月前,我们发布了一个朝着这个目标迈出的重要一步,但这仍然处于早期阶段。我们距离这个目标还有几步之遥,也许还有很多步。因此,这是我们即将推出的模型中第一个也是最小的模型。正如你所说,它仍然难以应对某些复杂性,例如,它仍然会混淆亚种,我不知道它们是否是亚种,我不应该这么说,但不同类型的牛。
因此,我们的方法是,基本上是逐步建立对整个世界的理解。我们发现,即使是像 Gen 3 模型这样的模型,建立这种理解也会教会模型各种其他有趣的特性。因此,你知道,我们有很多,我们看到了很多非常有趣的物理和纹理模拟,人们一直在用一些模型进行,你知道,它动画水的效果玩起来非常有趣。因此,
这些能力自然源于我们在构建方面的目标。是的,非常令人兴奋。是的,我通常在剧集结束时会问几个问题。一个是,作为 Runway 的 PM,你的一天通常是什么样的?典型的一天是什么样的?
是的,对此的粗略答案是没有典型的一天,这正是这个角色如此有趣的原因。我认为,是的,Runway 的产品团队,但 Runway 的许多团队,你知道,可以参与许多很酷的不同领域,从与专业创作者合作,一直到与业余爱好者创作者合作,再到与研究人员合作,或者进行这些模型的研究。
因此,我会说,就我而言,典型的一天(如果存在的话)是混合的,例如与用户讨论用例和用户体验和界面,与我们的研究人员合作评估实验或将用户反馈带回研究团队,与我们的工程师和设计师合作,将产品中的东西组合在一起,并确保它们稳定并准备好进行大规模发布,审查我们的指标和定量信号,并确保我们正在发布对人们有价值的东西,与我们的销售、财务和营销团队合作,以确保我们正在讲述我们想要构建的故事和业务。
是的,很酷。通常情况下,我得到的答案是没有典型的一天。对不起。不,当然,这正是科技的乐趣所在。但与此同时,你知道,当我与 CTO 交谈时,通常是招聘、招聘、招聘、招聘。所以,了解某人每天都在做什么,总是很有趣的。我认为我们的听众非常欣赏听到这一点,因为这涉及到他们可能正在考虑进入的角色。
而且,你知道,最后一个问题,同样的主题,了解你现在所知道的一切,你会给自己在这一领域开始的建议是什么?是的。我的意思是,在这个领域开始的建议是什么,那将是,加入 Runway,无论这个时间线从哪一年开始,他们都在做一些非常酷的事情。他们是一群很棒的人。我认为要回到现实中来,当我第一次在 Runway 开始工作时,我的建议是什么?我认为刚开始时,
我对拥有创意方面的背景以及科技创业公司 SaaS 工具方面的背景感到很舒服,但感觉,你知道,有一种与生俱来的感觉,好吧,你知道,我有这种经验,在构建 SaaS 产品方面,业务模式如何运作,与用户互动的最佳方式,规划发布和路线图的最佳方式,我认为早期花了几个月的时间来调整,
但 Runway 属于这一代新型公司,他们在内部拥有研究团队,拥有创意团队,能够每年几次彻底打破对可能性的预期,这极大地改变了传统的策略。因此,我认为学习将它们用作决定对我们来说最重要的是什么,对我来说在 Runway 的产品团队中做什么最好的事情的输入,
但对像,好吧,实际上,你知道,让我们尝试一下这件事感到满意,因为你知道,第一性原理会让你相信这可能是一个可以成功的实验。我认为我们在公司内部很好地建立了这种文化,现在人们当然会从他们的其他角色中吸取经验,但我们尝试了很多非常有趣的事情,而且很多事情都成功了,这真的很令人兴奋。我认为这是一个非常好的观点。我认为害怕失败,我认为今天可能会导致人们不进行实验,引用可能每个人都知道我引用的是谁,保持好奇,所以是的,我认为这是一个非常好的结束语,那就是,像 Runway 这样的工具永远不会被构思出来,如果人们不能只是进行实验,并且像那个项目一样,它可能不会走向某个地方,但与此同时
你知道,项目可以为你自己。它可以为许多其他人服务,但拥有这种好奇心,是的,不要害怕失败,可以这么说。这不是失败。只是尝试一些东西。是的,完全正确。所以乔尔,是的,很高兴今天能请你到这里来。我真的很感谢你的时间和分享,
关于 Runway,我绝对不会再称它为 LLM 了,所以我很抱歉,很好,是的,谢谢你邀请我,我会把关于牛的类型的反馈直接带回去,确保我们在未来对此进行测试,是的,我想在网站上看到高地牛,好的,我会尽力而为,非常感谢你的时间,希望我们能再次见面