傅盛发布猎户星空大模型Orion-14B 拥有140亿参数规模

来源:互联网 更新时间2024-01-23 09:37:38 点击数:

1月21日,猎户星空在傅盛2024开年 AI 大课暨猎户星空大模型发布会上发布了猎户星空大模型(Orion-14B)。这是一款由猎户星空研发的预训练多语言大语言模型,拥有140亿参数规模,覆盖了常见语言和专业术语,并在多个第三方测试集上取得了同级别模型的最佳效果。

猎户星空大模型的特点包括:支持超长文本,最长可达320K token;在千元级显卡上推理速度达到31token/s;多语言能力优秀,尤其在日语和韩语方面表现出色;模型大小经过量化技术处理后减少70%,性能几乎无损。

微信截图_20240123092223.png

为了满足企业的应用需求,猎户星空还推出了微调全家桶,包括 RAG(检索增强生成)和 Agent 两个方向的微调模型。RAG 套件可以快速整合企业自身知识库,构建定制化的应用;Agent 套件则可以根据用户问题调用最适配的工具,解决更复杂的问题。

除了推出大模型和微调模型,猎户星空还推出了聚言人力助手、聚言云资产助手和聚言创意助手等应用,帮助企业提升运营效率和决策能力。

在发布会上,傅盛还强调,企业需要的不仅仅是大模型,更需要结合业务流程解决痛点的大模型应用。猎户星空通过提供 AI 大模型咨询与服务一站式解决方案,帮助企业实现 AI 辅助决策。

猎户星空的大模型发布是其多年来不断追踪 AI 技术演进、投入巨资研发的成果之一。猎户星空拥有顶级算法科学家团队和全球20亿用户级应用经验,同时积累了大量的用户数据和 token 数据,为研发和优化模型提供了坚实的基础。

猎户星空目前正在基于 MoE 架构训练混合专家模型,下一个里程碑是百亿参数的智能模型。


Tag: 大模型
首页 AI对话 资讯 我的