OpenAI联合创始人：GPT-4性能在 “有限的数据量” 下面临挑战

OpenAI 的联合创始人 John Schulman 近在 Dwarkesh Patel 的播客节目中分享了他对 GPT-4性能的见解，并提到了由于有限的练数据而可能面临的挑战。Schulman 在2022年11月 ChatGPT 的推出中扮演了重要角色。

被问及人工智能社区是否接近 “数据壁垒”，即记忆大量预训练数据的好处可能不会导致比 PT-4更智能的模型时，Schulman 承认在这方面确实存在一些挑战，但 OpenAI 和公司将不得不改变他们的训练方法以克服这些挑战。

他说:“由于有限的数据量，确实一些挑战，但我不指望我们会立即碰到数据壁垒。然而，随着我们接近数据壁垒，我计预训练的性质会有所改变。”

Schulman 还讨论了在不同类型的预训练数据上的泛化挑战如代码和语言推理，以及特定训练数据解锁的能力可能存在的限制。

他还表示，与 GPT - 等之前的模型相比，像 GPT-4这样的更大型号的模型更具 “样本效率”- 这意着这些更大的模型可以使用更少的数据进行训练达到相同水平的智能。

虽然他没有这里的扩展规律给出一个合理的解释，但他指出，增加的处理能力最终是这个结果的原。

Sam Altman 也表达了对人工通用智能（AGI）发展的强烈承诺，无论财务成本何。他对 AI 驱动的 iPhone 的愿景与公司对 AI 发展的雄心勃勃目标一致。

OpenAI 的创始人 John Schulman 对 GPT-4性能进行了评估，并指出其面临的挑战。同时，OpenAI 的 CEO Sam Altman 对公司的人工智能模型未的发展也表达了雄心勃勃的愿景，致力于实现人工通用智能（AGI）的目标。