小爱和小T：探讨了大型语言模型中幻觉产生的机制，研究表明模型内部存在类似‘开关’的机制，控制着模型在面对未知信息时的反应，是选择编造答案还是拒绝回答。这一发现揭示了模型某种形式的自我认知能力，并为控制模型幻觉行为提供了新的方向。
通过对模型内部机制的研究，可以开发更可靠的AI模型，使其在不确定时选择沉默，而不是编造虚假信息。这对于提高AI系统的可信度和可靠性至关重要。
小爱和小T：分析了AI模型的灾难性遗忘问题，并介绍了一种基于‘功能向量’的新方法。该方法通过稳定模型内部执行特定任务的‘指纹’来减少遗忘，提高模型的持续学习能力。
研究发现，模型遗忘并非知识完全消失，而是知识的激活方式发生了偏差。通过稳定这些‘指纹’，可以有效地缓解灾难性遗忘，从而使AI模型能够持续学习新的知识，并在实际应用中更好地适应新的任务。
Deep Dive
什么是AI的“自我认知”问题，研究者是如何探索这一问题的？
AI的“自我认知”问题指的是AI模型是否能够判断自己是否了解某个实体，如人名或地名。研究者通过使用吸收自编码器（SAE）技术，从模型的复杂内部表征中找到有意义的线性方向。这些方向在模型遇到已知和未知实体时，激活程度会非常不同，从而帮助模型决定是拒绝回答还是胡编乱造。
AI的“遗忘”问题是什么，研究者提出了什么解决方案？
AI的“遗忘”问题指的是模型在学习新知识时，往往会忘记之前学过的内容，称为灾难性遗忘。研究者引入了“功能向量”的概念，这些向量可以量化模型内部的抽象功能。他们发现遗忘并非知识消失，而是功能向量的激活方式发生偏差。基于此，他们提出了一种新的训练方法，通过稳定这些指纹的激活方式来减少模型的遗忘现象。
如何利用AI技术模拟细胞的动态变化过程？
研究者提出了一种名为D-Priority的方法，利用最优传输理论和深度学习技术，从细胞的快照数据中推断细胞的动态变化过程。这种方法可以在不了解细胞生长和消亡过程的情况下，直接从数据中学习细胞的动态，从而更准确地建模细胞的复杂动态过程。
Transformer模型如何通过思维链（Chain of Thought）提高推理效率？
Transformer模型通过使用思维链（Chain of Thought，COT）进行多步推理，可以显著提高解决复杂问题的效率。研究者证明，如果给模型提供中间步骤的监督信息，或者让模型自己验证中间步骤的正确性，模型就可以在非常少的步骤内解决问题。任务分解和中间监督对于提升AI的推理能力非常重要。
本部分主要探讨AI模型的自我认知能力。研究人员通过吸收自编码器技术，发现了模型内部控制其是否了解某个实体的“开关”，并可以操纵这些开关来控制模型的行为，这表明AI可能具备某种形式的自我认知。
- 大型语言模型会产生幻觉，模型内部存在特殊的开关或方向控制模型是否了解某个实体。
- 吸收自编码器技术可以发现模型内部有意义的线性方向，这些方向对模型的行为有因果关系。
- 通过操纵这些开关，可以控制模型在遇到未知实体时是拒绝回答还是编造答案。
Shownotes Transcript