腾讯视频运动控制器MotionCtrl正式开源

12月28日 消息:腾讯日前发布的视频运动控制器MotionCtrl已经正式开源了，并且试用效果非常出色。该项目可以高度自定义相机镜头和画面物体在3D 空间运动轨迹，实现更精细和多样化的运动控制。

Demo:https://huggingface.co/spaces/TencentARC/MotionCtrl

在Demo中包含多步选择，相对比较复杂。用户需要首先选择控制镜头还是物体，也可以同时控制两者。然后需要选择对应的姿势，虽然没有开放自定义，但选择项相当丰富。最后只需要输入提示词，等待生成即可。

MotionCtrl能够独立有效地控制摄像机运动和物体运动，实现更精细和多样化的运动控制。其架构考虑了摄像机运动和物体运动的固有属性，通过CMCM和OMCM模块分别处理这两种运动类型。这使得在生成的视频中可以实现更细致的运动调整，并灵活地组合这两种运动类型，提高了控制的多样性。

该项目的优势在于，它可以有效地独立控制摄像机和物体的运动，实现更精细的运动控制，促进两种类型运动的灵活多样组合。此外，该技术的运动条件由摄像机的姿势和轨迹确定，与视频中物体的外观或形状影响最小。