cover of episode ‘We Have to Get It Right’: Gary Marcus On Untamed AI

‘We Have to Get It Right’: Gary Marcus On Untamed AI

2024/9/26
logo of podcast Your Undivided Attention

Your Undivided Attention
AI Deep Dive AI Chapters Transcript
People
D
Daniel Barcay
G
Gary Marcus
一位批评当前人工智能研究方向的认知科学家和名誉教授。
Topics
Daniel Barcay: 我注意到很多人都在努力同时思考两件事。一方面，硅谷的一些人非常担心人工智能发展的速度，认为它在短短几年内就会变得比大多数人都聪明、更有能力。另一方面，包括你在内的其他专家则谈到了基本人工智能技术的局限性，预计我们将很快遇到瓶颈。请帮我理清一下。我们该如何看待这两种截然不同的观点？ Gary Marcus: 我认为人工智能最终会比最聪明的人类更聪明，这是不可避免的。但它并非不可避免地在未来两三年或五年内就会发生。我认为这至少还需要十年时间，甚至可能更久。我从认知科学和思维方式的角度来看待这个问题。我观察到人类思维需要做的事情。例如，进行类比、进行统计分析，以及推理。例如，我们花了70年的AI研究才达到能够真正做好某种统计推断的程度。但还有一些事情，我们在这方面几乎没有取得什么进展，比如从不完整的信息中进行推理。当前的系统在某些方面非常糟糕。其中之一就是坚持事实。你不可能比最聪明的人类更聪明，却在基本事实方面失败。我们仍然不理解抽象知识、推理等。我们仍然不知道如何将这些融入我们的AI系统。我们需要根本性的创新。有些人看到一条曲线，他们认为它会无限期地延续下去。有时，那些经历过一段时间的人会意识到曲线并不总是这样。摩尔定律持续了一段时间，但它并非宇宙定律。最终它也失效了。类似地，在GPT和GPT-2、GPT-2和GPT-3、GPT-3和GPT-4之间，确实存在指数级增长。你可以根据你的衡量标准来拟合曲线并确定指数。但这并没有持续下去。有些人只是希望它能持续下去。另一些人则说，是的，但自GPT-4发布以来已经两年了。我们还没有看到符合这种情况的东西。因此，这看起来更像是渐近线，事情开始达到收益递减的点，而不是持续的指数增长。第三点是，我认为高管们都想预测非常快速的进展。AI伦理领域的某些人也想预测它。但如果你从认知科学的角度来看，它根本就没有发生。 Gary Marcus: 我认为人工智能最终会比最聪明的人类更聪明，但这并非短期内就能实现。大型语言模型的能力增长并非无限持续的指数级增长，而是正在趋于饱和。我对生成式AI持批评态度，但这并不代表我反对所有AI。对AI缺乏监管会导致灾难性后果，而合理的监管是AI成功的关键。生成式AI的推出方式与自动驾驶汽车不同，它直接面向大众，导致问题迅速显现。生成式AI因其拟人化特性而受到广泛关注，但其可靠性不足。生成式AI缺乏可靠性，其答案的准确性难以保证。生成式AI类似于人类的直觉，不可靠，需要人工干预。提升生成式AI的可靠性并非易事，需要解决诸多长期未解的难题。尽管对AI发展速度存在不同看法，但生成式AI目前已对社会造成切实危害。生成式AI目前对社会造成的直接危害包括：政治目的的虚假信息传播、操纵股市等。恶意行为者对AI的可靠性要求低于善意行为者。恶意行为者利用生成式AI传播虚假信息，即使大部分信息被忽略，也能达到目的。生成式AI的危害还包括深度伪造技术带来的负面影响，例如深度伪造色情内容。社交媒体的失败案例为AI发展提供了警示，两者都存在被滥用的风险。社交媒体的失败并非技术本身的缺陷，而是由于激励机制和社会制度的缺失。AI与社交媒体类似，都存在监管不足、规模化带来的危害以及隐私问题。大型语言模型能够让人相信虚假信息。大型语言模型公司可能会故意操纵信息，以达到某些目的。生成式AI的危害源于技术缺陷、不良激励机制和监管缺失。生成式AI的虚假信息传播、网络钓鱼攻击以及与人类价值观的不一致性，都源于技术本身的缺陷。对于大规模应用的AI系统，应该进行严格的预发布测试，以确保其安全性。需要一个新的机构来监管AI，类似于FDA对药物的监管。有人担心新的AI监管机构可能会被大型公司控制。新的AI监管机构需要避免被大型公司控制，需要有独立的科学家和专家参与。公众需要发声，推动AI的道德发展和监管。抵制不道德的AI产品，可以促使企业改进产品。公众需要关注AI问题，并向政府施压，推动AI政策的制定。

Deep Dive

Shownotes Transcript

It’s a confusing moment in AI. Depending on who you ask, we’re either on the fast track to AI that’s smarter than most humans, or the technology is about to hit a wall. Gary Marcus is in the latter camp. He’s a cognitive psychologist and computer scientist who built his own successful AI start-up. But he’s also been called AI’s loudest critic.

On Your Undivided Attention this week, Gary sits down with CHT Executive Director Daniel Barcay to defend his skepticism of generative AI and to discuss what we need to do as a society to get the rollout of this technology right… which is the focus of his new book, Taming Silicon Valley: How We Can Ensure That AI Works for Us.

The bottom line: No matter how quickly AI progresses, Gary argues that our society is woefully unprepared for the risks that will come from the AI we already have.

Your Undivided Attention is produced by the Center for Humane Technology). Follow us on Twitter: @HumaneTech_)

 

RECOMMENDED MEDIA

Link to Gary’s book): Taming Silicon Valley: How We Can Ensure That AI Works for Us

Further reading on the deepfake of the CEO of India's National Stock Exchange)

Further reading on the deepfake of of an explosion near the Pentagon.)

The study Gary cited on AI and false memories.)

Footage from Gary and Sam Altman’s Senate testimony.)

 

RECOMMENDED YUA EPISODES

Former OpenAI Engineer William Saunders on Silence, Safety, and the Right to Warn)

Taylor Swift is Not Alone: The Deepfake Nightmare Sweeping the Internet)

No One is Immune to AI Harms with Dr. Joy Buolamwini)

 

Correction: Gary mistakenly listed the reliability of GPS systems as 98%. The federal government’s standard for GPS reliability is 95%.