cover of episode E107. AI接下来还会颠覆一些什么?对谈天才AI科学家 ft. 林之秋

E107. AI接下来还会颠覆一些什么?对谈天才AI科学家 ft. 林之秋

2024/9/18
logo of podcast TIANYU2FM— 对谈未知领域

TIANYU2FM— 对谈未知领域

People
林之秋
Topics
林之秋:AI模型的最终目标是创建能够模拟现实世界物理规律的"世界模型",这将带来无限的知识和应用可能性。当前AI发展在一定阶段呈指数级增长,但受限于高质量数据增长缓慢,未来突破可能来自多模态(尤其视频)数据的利用和数据质量的提升。视频生成模型未来几年可能爆发,应用场景广泛,从艺术创作到自动驾驶训练数据生成,最终目标是构建逼真的虚拟世界。 关于数据,AI公司都在努力将未数字化的古老语料(如书籍、绘画)纳入训练,数据质量决定模型质量。近年来AI行业主要进步来自数据方面,但数据筛选和偏好对齐仍存在挑战。合成数据将是提升模型的重要方向。 关于AI的应用,AI可能被应用于战争,但大国博弈的核心仍是核武器,AI更多的是在精准打击等方面发挥作用。AI也具有价值观,会加速世界的"麦当劳化"或"美国化"。 关于中美竞争,美国在算力和高质量数据方面占优,中国在人力成本和数据集中方面有优势。 关于模型的未来,Transformer架构并非一成不变,未来可能会有新的架构出现,但更重要的是数据和应用场景。 天宇:AI发展可能面临瓶颈,原因是高质量数据增长缓慢,能源和算力也可能成为限制因素。未来视频生成模型可能成为一种交互界面,处理全模态信息,成为全能助理。AI生成内容的增加可能提高互联网语言质量,但也存在风险,需要有效规避。 关于中美竞争,AI的加持会提升单兵软实力和生产力,拥有更强AI模型的国家将占据优势。但文化和价值观差异是软实力竞争的重要因素,AI内容输出会影响价值观的传播。 天域:AI发展经历了指数级增长到逐渐平稳的阶段,未来发展方向可能在于多模态,特别是视频生成。视频生成模型的应用场景广泛,但其算力需求巨大,能源消耗也是一个需要考虑的因素。 关于世界模型,其上限可能在于能源,我们可能生活在虚拟世界中。AI模型可以用于预测极小概率事件,例如自动驾驶中的corner case,这可能影响到我们对现实和虚拟的判断。 关于中美竞争,美国在算力和数据方面占优,中国在人力成本方面有优势。AI模型的价值观会影响其内容输出,进而影响文化和价值观的传播。

Deep Dive

Key Insights

为什么AI的进化速度远远超越了其他技术?

AI的进化速度快是因为它依赖于数据和算力的指数级增长,尤其是在大语言模型(如GPT系列)中,数据量和模型参数的增加带来了显著的性能提升。

AI的未来发展会趋于小规模进步还是会有新一轮的颠覆?

AI的未来发展可能会在数据质量和模型优化上取得小规模进步,但视频生成等新模态的爆发可能会带来新一轮的颠覆性变化。

AI模型在战场上的应用前景如何?

AI模型在战场上可能被用于无人机拍摄和目标识别,甚至可以通过生成视频来模拟战场环境,帮助军事决策。

AI模型的智能程度与资源投入的关系是怎样的?

在一定范围内,AI模型的智能程度与资源投入呈指数增长关系,但随着模型规模和数据量的增加,收益逐渐递减。

AI模型的数据质量和数量对模型性能的影响有多大?

数据质量和数量对AI模型的性能至关重要。高质量的数据和足够的数据量可以显著提升模型的表现,而低质量或不足的数据则会导致模型性能下降。

AI模型是否已经用尽了互联网上的所有文本数据?

虽然AI模型已经使用了大量的互联网文本数据,但高质量的文本数据(如维基百科)的增长速度较慢,未来模型的提升可能更多依赖于数据质量的提升。

AI模型如何通过人类反馈提升性能?

AI模型通过人类反馈(如偏好对齐算法)来提升性能,人类可以对模型生成的多个回答进行选择,从而帮助模型更好地理解人类偏好。

AI模型在视频生成领域的爆发会对世界产生什么影响?

视频生成模型的爆发可能会带来影视制作成本的降低,甚至可能生成虚拟世界模型,用于自动驾驶等领域的训练。

AI模型是否能够完全复制现实世界?

AI模型目前还无法完全复制现实世界,但它们可以生成逼真的视频和图像,模拟物理规律,未来可能用于生成虚拟世界。

AI模型在科研领域的应用前景如何?

AI模型可以帮助科研人员生成实验数据、编写代码和撰写论文,但目前仍无法完全取代人类科研人员,尤其是在实验设计和复杂问题的解决上。

中美在AI竞争中的优劣势分别是什么?

美国在算力和英文语料库上具有优势,而中国在工程师人力成本和集中资源方面有优势。中国可以通过翻译英文语料库来提升模型性能。

AI模型的价值观是如何形成的?

AI模型的价值观由开发它的公司或工程师决定,模型的内容和输出反映了这些人的价值观,例如GPT不会谈论黑人问题。

AI如何加速了我们的工作和生活?

AI通过减少沟通和信任成本,加速了从想法到实现的效率。例如,通过AI生成代码或合同,大大缩短了完成任务的时间。

Chapters
本节讨论了 AI 模型的智能发展模式,探讨了算力、数据量和数据质量对模型发展的影响。嘉宾认为,在一定阶段后,单纯增加算力对模型提升的边际效益递减,高质量的数据和数据筛选方法变得越来越重要。
  • AI 模型智能提升在一定阶段后边际效益递减
  • 高质量数据和数据筛选方法至关重要
  • 算力、模型大小和数据共同决定模型上限

Shownotes Transcript

暂时平静的水面之下正在孕育着新一轮的颠覆? 距离我们上次聊AI前沿的话题又已经过去了将近一年。引用一周前马斯克在ALL-IN峰会上说的一句话: “AI进化的速度,远远超越了任何其他现存的技术 (the rate of AI improvement is faster than any other technology by far)。“ 一方面,ChatGPT发布才仅仅不到两年,AI已经光速融入到了几乎每一个主流APP,以及我们生活中的各个角落。 但另一方面,随着前两天ChatGPT的最新模型o1的上线,相信你也有意识到,普通用户们似乎也逐渐的在对AI的更新与新闻变得麻木。似乎AI的更新迭代对我们生活的直接影响在逐渐变小。 可事实真的是这样吗?从前沿AI科学家的视角,AI未来的发展是会逐渐趋于小规模进步,还是暂时平静的水面之下正在孕育着新一轮的颠覆能量?

本期节目,我们再次的老朋友,被大家称为TIANYU2FM“第三位主播”的AI科学家林之秋再次回归,来和我们一起聊聊AI接下来将会如何发展?

林之秋 卡内基梅隆大学计算机科学博士生 17岁考入康奈尔大学,仅用两年时间就修完计算机和数学双专业,并从大二开始为康奈尔科技学院编写硕士生的预修课程,给博士生的试卷打分 2020年,林之秋获得了被称作计算机视觉奥斯卡的CVPR最佳论文的提名,是唯一的本科生获提名者,这也成了当时学术圈的一个现象级的新闻 今年,林之秋也与Adobe合作开发视频生成的AI模型,拥有科研和商业一线全面的视角

在本期你会听到: 在本期内容里,我们从AI的智能是否还会继续指数型发展聊起,聊到了是什么在制约如今AI的发展,AI前沿在尝试创造的世界模型是什么?我们是不是生活在虚拟世界里?视频生成模型什么时候会爆发?而这轮爆发又将对我们的世界带来哪些影响?AI是否可以被使用在战争之中?AI又将在中美竞争博弈中承担什么样的角色?产生怎样的影响等等话题! 这次对话让我再一次感觉到AI这项技术似乎还远没有完全苏醒,相信之秋的视角也会对你有所帮助!那就请你扶稳坐好,来和我们一起加入这场对话吧!

结语 天域:这期结尾有个很好玩的彩蛋,先别急着关掉。在这期节目录制开始的时候,之秋推荐我们尝试一下一个AI作曲的平台叫SUNO AI,我们就干脆把这个体验过程录下来了,结果意外地好笑。

请假 国庆假期这周我们想让团队的伙伴们歇一歇,所以原定于10月3日早上更新的下期节目,我们决定延期一周,也就是10月10日早上和大家见面!

本期节目制作 王一山(制片人) 在洋(节目剪辑) Alan(节目运营)

TIANYU2FM的理念:每期对谈有价值的声音 我们是天宇和天域,是挚友,也是一起求知的伙伴。这是一档为了开拓眼界,走出自我局限而设立的播客,我们通过与人的对谈来与未知的领域及知识互动。

主持人简介 天宇 | 大白(声调偏低):从事中日流行文化与媒介研究(文章见于澎湃新闻私家历史、网易新闻历史频道等) 天域 | 杰激(声调偏高):服装电商公司创始人、UnDeR20合伙人(小红书:李天域 Jack))

视频播客 TIANYU2FM视频播客现已上线! 请在B站 / Youtube 搜索TIANYU2FM找到我们!(比音频版更新晚一周左右)

TIANYU2FM听友群 欢迎你加入TIANYU2FM听友群,和我们一起直接聊天。 请在WX搜索同名ID:TIANYU2FM,并且备注:来聊天。记得不是公众号,而是添加好友。

欢迎关注我们的微博、twitter以及收藏我们的网站以看到更多日常信息以及节目更新提醒! Weibo: @tianyu2fm Twitter: @tianyu2fm Bilibili:tianyu2fm 网址: https://tianyu2.fireside.fm/)