字节推出多模态大模型LLaVA-NeXT-Interleave，提升多图像任务处理能力

zhaoshixuan1989

近期字节团队推出开放大型多模态模型LLaVA-NeXT-Interleave，其视觉指令微调在增强大型多模态模型（LMM)多图像任务处理能力方面取得了巨大进步。LLaVA-NeXT-Interleave可同时处理LMM中的多图像、多帧（视频）、多视图（3D）和多补丁（单图像）场景，其将交错数据格式作为通用模板，通过编译了包含1177.6k个样本的M4-Instruct数据集，涵盖4个主要领域的14项任务和41个数据集对模型进行视觉指令微调，提供了一种内聚的方法来处理多图像任务的挑战。通过大量实验，LLaVA-NeXT-Interleave 在多图像、视频和3D基准测试中取得了领先的成绩。