360智脑7B参数大模型正式开源最长支持约50万字输入

来源：站长之家更新时间2024-04-15 09:52:30 点击数：

360公司自主研发的7B参数大模型——360智脑，现已正式上线开源社区，并提供了基础模型以及4K、32K、360K三种不同文本长度的版本。

这一大模型在支持文本长度方面表现出色，最长可处理360K长文本，相当于约50万字的输入内容。令人惊叹的是，仅需3秒钟，它便能读完整部《三体》。

目前，在开源模型领域，360智脑7B无疑是支持文本长度最长的大模型之一。

微信截图_20240415090449.png

为了方便开发者使用，360智脑7B大模型不仅提供了全套的微调训练代码和推理代码工具集，而且实现了开箱即用。这一举措极大地简化了开发流程，让行业无需再为处理长文本而犯愁。

在性能评估方面，360智脑7B大模型同样表现出色。通过OpenCompass与国内外同参数模型进行对比，其综合能力排名前三。在C-Eval、MMLU、HellaSwag、LAMBADA等多项能力测试中，360智脑7B均获得了第一的成绩，显示出强大的中英文知识和推理理解能力。即便是面对“弱智吧”贴吧的“刁难”，它也能从容不迫地作出清晰应答。

在LongBench评测中，360智脑7B大模型的长文本处理能力同样令人瞩目。在同等参数模型的测评中，它成功拿下最高分。同时，在中英文360K大海捞针效果测试中，也取得了超过98%的高分。这一成绩的背后，得益于360智脑7B采用的无损压缩技术，它摒弃了传统的滑动窗口attention、跳跃attetion等有损压缩路线，实现了超长文本的无损处理

项目地址：https://github.com/Qihoo360/360zhinao

Chat AI人工智能中文在线使用

专业AI论文生成器一键生成万字论文只需5分钟