企业软件开发商赛富时(Salesforce)开源xGen-MM多模态模型

企业软件开发商赛富时 (Salesforce) 日前发布了一套新的开源多模态 AI 模型，该模型被称作 xGen-MM (也被称作 BLIP-3)，支持文本、图像和其他数据类型的内容。

赛富时 AI 研究院在论文中详细介绍了这个尺寸只有 4B 的模型，与其他类似尺寸的模型相比，xGen-MM 在各种基准测试中都有着不错的竞争力。

那为什么赛富时要开源自己研究的 AI 模型呢？赛富时研究人员称：

开源模型、精选的大规模数据集以及微调代码库都可以促进大型语言模型的发展，这有助于打破先进 AI 模型保持专有而非开源的趋势，有可能让获取多模态 AI 技术的途径多样化。

xGen-MM 模型的关键创新在于该模型能够处理结合了多个图像和文本的交错数据，研究人员将其描述为多模态数据的最自然形式。

该功能让模型能够执行更复杂的任务，例如同时回答包含多个图像和文本内容的问题，这在医疗诊断以及自动驾驶等多个领取可能有非常高的实用价值。

赛富时还为开发者、AI 同行和其他研究人员推出针对不同场景而优化的模型变体，包括基本预训练模型、用于遵循指令的指令调整模型和旨在减少有害输出的安全调整模型等。

开发者可以根据自己的需要选择不同的模型，例如只使用不考虑其他问题那就可以使用基本预训练模型，如果要针对特定领域使用则可以使用指令调整模型自己进行微调等。

目前 xGen-MM 模型的代码、模型和数据集都已经在赛富时的 GitHub 存储库中发布，更多资源随后也会在项目网站中发布供开发者们下载。

Salesforce xGen-MM：https://github.com/salesforce/LAVIS/tree/xgen-mm

Salesforce Huggingface：https://huggingface.co/Salesforce

项目网站：http://xgen-mm.salesforceairesearch.com/