Mini-Gemini是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs），由中国香港中文大学和 SmartMore 的研究人员共同推出。尽管VLMs在促进基本视觉对话和推理方面取得了进展，但与先进的模型如GPT-4和Gemini相比，性能差距仍然存在。Mini-Gemini试图从高分辨率视觉token、高质量数据和VLM引导生成这三个方面挖掘VLM的潜力，以提高性能和实现任意对任意的工作流程，从而缩小与先进模型的性能差距。

具体来说，Mini-Gemini支持一系列密集和MoE大型语言模型（LLMs），从2B到34B。为了增强视觉token，该框架建议在不增加视觉token数量的情况下，利用额外的视觉编码器进行高分辨率细化。同时，Mini-Gemini还构建了一个高质量的数据集，以促进精确的图像理解和基于推理的生成，从而扩大当前VLM的操作范围。

• Mini-Gemini 在多个零样本基准测试中表现出色，超越了现有模型。
• 在评估 Mini-Gemini 时，它在 MM-Vet 和 MMBench 基准测试中超越了 Gemini Pro 模型。

虽然 Mini-Gemini 在处理复杂的视觉和文本任务时表现出高效性和精度，但研究人员也指出，它在视觉理解和推理能力方面仍有改进空间，未来的工作将探索更高级的方法。