Molmo 是由艾伦人工智能研究所（Ai2）推出的一款免费、开源的小型 多模态 AI 模型，能够通过丰富的交互能力与现实和虚拟世界进行有效沟通。

主要功能

  • Molmo 能够处理文本、图像和语音等多种输入形式，实现多模态数据的分析与解释。这使得它在视觉问答和图像描述生成等任务中表现优异。
  • 与其他大型模型相比，Molmo 使用了更少的数据进行训练（约 100 万张高质量图像），从而降低了计算需求并减少了错误率。这种方法使得 Molmo 在多个基准测试中超越了包括 OpenAI 的 GPT-4o 在内的众多竞争对手。
  • 该模型具备 “指向” 功能，可以识别并分析图像中的特定元素，增强用户与界面之间的交互能力。例如，它可以准确描述图像中的物体并计算数量。
  • Molmo 免费、开源，允许开发者和研究人员在其基础上构建应用程序。所有模型及其权重都可在 Hugging Face 平台上获取。

特色

  • Molmo 系列包括多个模型，其中旗舰模型 Molmo-72B 拥有 720 亿个参数，而较小的 Molmo-7B 模型仅拥有 70 亿个参数。尽管参数数量较少，小型模型的性能仍然超越了许多大型闭源模型。
  • Molmo 采用人工注释者使用语音描述创建的数据集，这种方法不仅提高了数据质量，还降低了训练过程中的噪音。
  • 在多个学术基准测试中，Molmo 展现出色的性能，尤其是在文档阅读和视觉推理等复杂任务中，表现优于许多现有专有系统。
  • Molmo 适用于研究人员、开发者和企业，能够支持多种应用，包括数据分析、环境互动应用的开发等。

总之，Molmo 不仅在技术上具有竞争力，其开放性和高效的数据利用策略也为未来的 AI 研究与应用提供了新的可能。

访问地址：molmo.org