通义千问开源视觉语言模型Qwen2-VL 2B、7B尺寸API可直接调用

9月2日，通义千问宣布开源其第二代视觉语言模型Qwen2-VL，并在阿里云百炼平台上推出2B、7B两个尺寸及其量化版本模型的API，供用户直接调用。

Qwen2-VL模型在多个方面实现了性能的全面提升。它能够理解不同分辨率和不同长宽比的图片，在DocVQA、RealWorldQA、MTVQA等基准测试中创下全球领先的表现。此外，该模型还能理解20分钟以上的长视频，支持基于视频的问答、对话和内容创作等应用。Qwen2-VL还具备强大的视觉智能体能力，能够自主操作手机和机器人，进行复杂推理和决策。

该模型能够理解图像视频中的多语言文本，包括中文、英文、大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。通义千问团队从六个方面评估了模型的能力，包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景问答、视频理解、Agent能力。

Qwen2-VL-72B作为旗舰模型，在大部分指标上都达到了最优。Qwen2-VL-7B以其经济型参数规模实现了极具竞争力的性能表现，而Qwen2-VL-2B则支持移动端的丰富应用，具备完整的图像视频多语言理解能力。

在模型架构方面，Qwen2-VL延续了ViT加Qwen2的串联结构，三个尺寸的模型都采用了600M规模大小的ViT，支持图像和视频统一输入。为了提升模型对视觉信息的感知和视频理解能力，团队在架构上进行了升级，包括实现对原生动态分辨率的全面支持和使用多模态旋转位置嵌入（M-ROPE）方法。

阿里云百炼平台提供了Qwen2-VL-72B的API，用户可以直接调用。同时，Qwen2-VL-2B和Qwen2-VL-7B的开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中，开发者可以通过这些平台下载和使用模型。