cover of episode ChatGPT停止增长:污染和退化的风险、嵌入代码的偏见、“世界模型”的未来-Vol25

ChatGPT停止增长:污染和退化的风险、嵌入代码的偏见、“世界模型”的未来-Vol25

2023/6/26
logo of podcast 脑放电波

脑放电波

Frequently requested episodes will be transcribed first

Chapters

Shownotes Transcript

脑放电波 S02E4。在 ChatGPT 停止增长的时刻,我们发现 GPT 已经开始在中文互联网批量制造“垃圾”,这样的污染也会导致语言模型能力退化。本期也介绍了困扰 AI 发展多年”算法偏见“和“不可解释”问题以及如何改进。图灵奖科学家杨立昆提出的“世界模型”,也许是我们值得期待的下一步。

在评论区留下你使用AI 最好的/最不好的应用,我们将选取3位互动观众送出由基辛格(前美国国务卿)、施密特(谷歌前CEO)写的新书《人工智能时代与人类未来》

对于节目话题的更多观点,欢迎添加脑放电波小助手微信(BrainAMP01)加群参与讨论。

时间轴和参考文章

1:30 ChatGPT 首次负增长,搜索市占极低,调查)显示大部分用户没有产生依赖

4:50 OpenAI 开始降本增效

7:25 污染中文互联网、虚假新闻、导致正确的代码网站流量下降(事件:www.v2ex.com))

11:55 人为制造的污染

15:40 AI 生成数据自我污染,导致退化的研究 (论文:arxiv.org))

23:40 在被污染的数据之上,中文大模型如何发展?

24:36 语言模型的偏见:歧视有色人种、错误诊断

28:43 AI 的不可解释性: AI 可解释性风险的例子:在停车标志上贴黑白胶带,自动驾驶AI 会误认为标志的含义是“限速45公里”,开发者无法解释其原因,图源:arstechnica

30:32 我们也无法解释 GPT 的反馈背后是什么:GPT 学语言像婴儿(论文:arxiv.org));GPT 只会来回讲25个笑话(论文:arxiv.org))

34:37 改进AI 的方式:对齐、牺牲性能(论文:Spark Of AGI arxiv.org))、过程监督(论文:Let's Verify Step by Step arxiv.org))、可解释的模型

49:45 针对“可解释性”的思考,会成为 AI 应用的障碍吗?我们接受更少偏见的 AI 来做决策吗?

54:08 就像自动驾驶,阻止我们用AI的可能不是AI 能力,而是法规和商业

59:35 图灵奖得主、Meta 首席AI科学家杨立昆(Yann LeCun)和他提出的“世界模型”和他的 I-JEPA 架构(研究见:ai.facebook.com))

1:10:40 大语言模型做虚拟人陪伴非常强(A-16Z 文章见:a16z.com))

脑放电波是一档关注科技前沿、品牌营销和个人成长的谈话类节目。每期带给您一个有趣有据的话题,帮您在信息严重过载的现代世界小幅自我迭代。您可以在小宇宙、苹果播客或者其他泛用型播客客户端搜索“脑放电波”找到并关注我们,如果您对本期节目有任何疑问,欢迎您给我们留言,如果您觉得这期内容对你有所帮助,欢迎您关注点赞收藏转发,这对我们非常重要。