Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态AI大语言模型。它专为增强对移动端用户界面（UI）屏幕的理解而设计，具备引用、定位和推理功能。这个模型能够理解手机屏幕上的内容并执行任务，专注于移动端和用户交互。

主要特点包括：

• 指代和定位：能够理解和引用UI屏幕上的特定元素，如图标和文本。
• 高级推理：能够进行详细描述、感知/交互对话和功能推断等高级任务。
• 执行开放式指令：基于对UI屏幕的理解，可以执行用户的开放式指令。

Ferret-UI在性能评估中表现出色，不仅超越了大多数开源UI多模态大型语言模型（MLLM），还在所有基础UI任务上超过了GPT-4V。它的“任意分辨率”技术能够处理不同宽高比的屏幕，并提高了对小UI元素的识别能力。

Ferret-UI视频介绍：

https://img.pidoutv.com/wp-content/uploads/2024/04/1502960397-1-16.mp4 Ferret-UI的主要功能

Ferret-UI的主要功能集中在其对移动用户界面（UI）屏幕的强大理解和交互能力上。以下是一些关键的功能点：

多模态理解能力：Ferret-UI具有卓越的多模态理解能力，能够处理并解析来自不同模态的信息，包括图像、文本、布局等。这使得它能够准确地识别屏幕上的各种元素，如按钮、图标、文本框等，并理解它们之间的关系和交互逻辑。

屏幕内容识别：通过深度学习和图像识别技术，Ferret-UI能够实时识别屏幕上的内容，并将其转换为可处理的文本信息。无论是图标、按钮、文本还是其他UI元素，Ferret-UI都能准确地进行识别和分类。

指令执行与逻辑推理：Ferret-UI不仅能识别和看见屏幕内容，还能根据用户的指令执行相应的操作。它能够通过逻辑推理分析屏幕上的元素，推测应用的功能，并根据用户的需求提供相应的响应和帮助。

灵活的输入格式与基础任务处理：Ferret-UI支持多种灵活的输入格式，如点、框、涂鸦等，这使得用户能够以更自然和直观的方式与屏幕进行交互。同时，它能够处理各种基础任务，如查找特定的小部件、图标或文本，提供小部件列表等，以满足用户的不同需求。

任意分辨率支持：Ferret-UI具有任意分辨率支持的能力，这意味着它可以适应不同大小和分辨率的屏幕，无论是手机、平板还是其他设备。这使得它在处理各种UI屏幕时都能保持高精度和稳定性。

实时响应与交互：通过利用先进的机器学习和自然语言处理技术，Ferret-UI能够实时响应用户的屏幕操作和指令，提供即时的反馈和帮助。这使得用户在与设备进行交互时能够获得更为流畅和高效的体验。

Ferret-UI的技术细节

指代和定位能力：Ferret-UI能够理解和引用UI屏幕上的特定元素，如图标和文本，进行有效的互动。

任意分辨率技术：为了适应不同宽高比的UI屏幕，Ferret-UI采用了“任意分辨率”技术，将屏幕分割成子图像，以便同时适应竖屏和横屏。这项技术能够灵活地适应各种屏幕长宽比，并利用增强的视觉特征放大细节。

训练数据集：研究团队为Ferret-UI精心收集和策划了广泛的训练样本，涵盖了从基础的UI任务（如图标识别和文本查找）到高级任务（如详细描述和功能推断）。

性能评估：Ferret-UI在多个任务上表现出色，不仅超越了大多数开源UI MLLMs，还在所有基础UI任务上超过了GPT-4V。

模型架构：Ferret-UI包括一个预训练的视觉编码器和一个基于Ferret的解码器和投影层，用于处理文本输入和生成响应。

高级推理：Ferret-UI能够进行详细描述、感知/交互对话和功能推断等高级任务。

执行开放式指令：基于对UI屏幕的理解，Ferret-UI可以执行用户的开放式指令。

这些技术细节展示了Ferret-UI在移动UI理解和交互领域的先进性和实用性。它的设计和性能展示了未来在这一领域的发展潜力。

应用场景

Ferret-UI作为苹果公司推出的多模态AI模型，其适用场景广泛，主要包括：

移动端用户交互：Ferret-UI可以增强智能手机和其他移动设备上的用户交互体验，通过理解用户界面来执行复杂的UI任务。

自动化测试：在自动化测试领域，Ferret-UI能够自动识别UI中的元素和功能，提高测试效率和准确性。

辅助设计：对于UI设计师来说，Ferret-UI能提供界面元素的自动识别和分类，辅助设计过程中的决策。

建立通用底层规范：通过学习大量优秀的UI界面及交互设计规则，Ferret-UI可以建立更为标准、理性的界面设计通用准则和基础规范。

快速绘制UI demo稿或设计稿：Ferret-UI能够生产出交互设计界面，满足产品的基础版本需求，提升产研和设计效率。

评估检验UI设计的问题和质量：可以帮助开发者和设计师评估UI的有效性和易用性，快速找出设计中的问题，完成设计走查。

改变界面的交互方式和使用体验：Ferret-UI能够在页面交互方式上提供创新，例如语音朗读UI界面或操作指引，为视觉障碍或认知障碍的用户提供便利。

推动AI新智能手机的发展：Ferret-UI还可以为Siri等智能助手赋能，使其能够理解语音指令，并与手机应用程序交互，完成操作，如自动预订酒店。

这些场景展示了Ferret-UI在交互设计、自动化测试和用户体验提升等方面的潜力和实用性。