百川智能与天津大学合作推出了"Sibyl System"智能体框架,并在GAIA Leader Board上取得了第一名的成绩。GAIA是Meta、Huggingface和AutoGPT于2023年11月提出的全新评测方案,主要评测Agent在复杂任务执行方面的能力和方案。这个评测方案揭示了现有模型的能力缺陷,并为模型和Agent的研发提供了改进方向。
GAIA的测试题目更接近真实世界,要求AI具备推理、多模态理解(文本、图片、音/视频)、网页浏览和使用工具等能力。这些题目对人类来说不难理解,但对模型来说极具挑战性。例如,GPT-4在测试中的成功率仅为15%,而人类实验者可以达到92%。完成这些题目通常需要较长的逻辑链路和时间,涉及多个步骤和工具。
"Sibyl System"框架的设计特点包括:
类人的浏览器界面替代检索增强生成。
问答替代对话,使用无状态的问答函数,简化系统架构。
仅使用网页浏览器和Python环境这两个通用工具,减少对专用工具的依赖。
从System1到System2,引入“陪审团”机制,通过多代理辩论进行自我批评和修正,利用全局工作区中的信息提高响应的准确性。
Sibyl System是一个结构简单但功能强大的基于大型语言模型的Agent框架,能够通过使用少量工具解决复杂的推理问题。它通过引入Global Workspace和Multi-Agent机制,以及基于浏览器的通用信息获取渠道,降低了系统复杂度,同时扩展了解决问题的复杂度,实现了模型从“快思考”到“慢思考”的转变。Sibyl System还具有很好的可扩展性和易于调试的特点,可以轻松替换其他模型的Agent模块,提升模型的能力。