Boximator是字节跳动推出的一款利用深度学习技术进行视频合成的先进工具。它使用文本提示和额外的盒子约束来生成丰富且可控制的视频运动，从而为用户创造独特的视频场景提供了灵活的运动控制。具体来说，Boximator可以通过文本精准控制生成视频中人物或物体的动作，能生成包含多个角色以及特定类型运动的复杂场景，并能精确生成物体和背景的细节。

硬框可精确定义目标对象的边界框。用户可以在图片中画出感兴趣的对象，Boximator会将其视为硬框约束，在之后的帧中精准定位该对象的位置。

软框定义一个对象可能存在的区域，形成一个宽松的边界框。对象需要停留在这个区域内，但位置可以有一定变化，实现适度的随机性。

两类框都包含目标对象的ID，用于在不同帧中跟踪同一对象。此外，框还包含坐标、类型等信息的编码。

不过，据字节跳动相关人士称，Boximator是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。

适用人群或场景：短视频创作者、影视制作

论文地址: https://arxiv.org/abs/2402.01566

项目地址: https://boximator.github.io/

Boximator的视频介绍：

Boximator是一个由字节跳动研究团队开发的视频合成工具，它可以根据文本提示生成丰富且可控的动作视频。以下是使用Boximator的基本步骤：

目前，Boximator的演示网站正在开发中，预计在未来2-3个月内上线。在此之前，你可以通过发送电子邮件到wangjiawei.424@bytedance.com来尝试Boximator。