cover of episode #115 - GPT4, Bard, AGI, Alpaca, Anthropic, Midjourney V5

#115 - GPT4, Bard, AGI, Alpaca, Anthropic, Midjourney V5

2023/3/26
logo of podcast Last Week in AI

Last Week in AI
AI Deep Dive AI Chapters Transcript
People
A
Andrey Korenkov
J
Jeremy Harrison
Topics
Andrey Korenkov：OpenAI 发布了 GPT-4，它是 GPT-3.5 的后续版本，具有处理图像和文本输入的能力，其性能显著优于之前的版本。GPT-4 的训练使用了比 GPT-3 多得多的计算资源，其性能提升是数据、模型大小和计算能力共同作用的结果。虽然 OpenAI 没有公开 GPT-4 的内部细节，但其在 LSAT 和 SAT 等考试中的高分以及在各种任务上的出色表现，表明其能力已经达到或接近 AGI 的水平。GPT-4 的扩展定律曲线趋于平缓，这暗示着未来可能难以通过简单的规模化来进一步提升其性能。此外，GPT-4 的微调不会降低其性能，反而会降低其出现不良行为的可能性，这在一定程度上提升了其对齐性。然而，GPT-4 的微调版本在校准方面不如原始版本，这表明在对话能力和可靠性之间存在权衡。文本的不可约复杂性可能限制了 GPT 模型的性能提升，物理定律也可能限制 AI 的智能水平。 Jeremy Harrison：GPT-4 的主要区别在于它可以接受图像和文本作为输入，但输出仍然是文本。GPT-4 的性能优于 GPT-3.5，并且其能力令人惊讶，其在 LSAT 和 SAT 等考试中的得分远高于 GPT-3.5。GPT-4 的能力是不可预测的，这体现了 AI 规模化的一个共同主题。OpenAI 对 GPT-4 的内部机制信息保密，这引发了人们的讨论，关于竞争优势和 X 风险存在不同的观点。GPT-4 的能力在多个任务上同时出现，这挑战了人们对 AGI 的传统理解。GPT-4 的能力发展速度快于人们对其进行哲学、数学和统计学思考的速度。GPT-4 的规模化提升了其对齐性，使其更可能按照预期执行任务。GPT-4 的微调版本在校准方面不如原始版本，这表明在对话能力和可靠性之间存在矛盾。文本的不可约复杂性可能限制了 GPT 模型的性能提升，物理限制可能高于人类大脑的计算能力，这增加了对 AI 风险的担忧。

Deep Dive

Chapters
GPT-4 introduces the ability to handle both text and images as input, with text output, and shows significant improvements over GPT-3.5 in various tasks.

Shownotes Transcript

Our 115th episode with a summary and discussion of last week's big AI news!

Check out our text newsletter at https://lastweekin.ai/)

Stories this week:

Applications & Business GPT-4) GPT-4 is bigger and better than ChatGPT—but OpenAI won’t say why) 

GPT-4’s new capabilities power a ‘virtual volunteer’ for the visually impaired)

Google opens early access to its ChatGPT rival Bard — here are our first impressions)

Lighting Round Confirmed: the new Bing runs on OpenAI’s GPT-4)

Microsoft and Google Unveil A.I. Tools for Businesses)

Adept Raises $350 Million To Build AI That Learns How To Use Software For You)

Introducing Claude)

Research & Advancements Microsoft Researchers Claim GPT-4 Is Showing "Sparks" of AGI)

Alpaca: A Strong Instruction-Following Model)

Lighting Round Our latest health AI research updates)

Machine learning takes starring role in exploring the universe) 

A new method to boost the speed of online databases)

MIT researchers uncover the structural properties and dynamics of deep classifiers, offering novel explanations for optimization, generalization, and approximation in deep networks)

Policy & Societal Impacts

Core Views on AI Safety: When, Why, What, and How)

Microsoft just laid off one of its responsible AI teams)

Lighting Round Some high-level thoughts on the DeepMind alignment team's strategy)

Meta’s powerful AI language model has leaked online — what happens now?)

AI Scams and Influencers)

AI Generated Image from Text is not Human Authorship says US Copyright Office) 

I’m an ER doctor: Here’s what I found when I asked ChatGPT to diagnose my patients) 

Art & Fun Stuff Midjourney V5 is Out Now – Next Steps in Photorealistic Experience with AI Art)

Illustration competitions grapple with generative AI)

Online storm erupts over AI work in Dutch museum’s ‘Girl with a Pearl Earring’ display)

AI and Copyright: Human Artistry Campaign Launches to Support Songwriters and Musicians’ Rights)