网站地址:https://sketch.metademolab.com/
上传绘图后,用户可以选择调整检测到的边界框、分割蒙版和关节位置,并选择一个动作来制作动画。
其系统结合了经过重新设计的、根据真实世界物体照片训练的计算机视觉模型。由于绘画领域在外观风格上存在显着差异,因此Meta使用业余绘画数据集对模型进行了微调。
第一步,上传一张有类人角色的绘图,注意这个角色是画在一张没有线条、褶皱的白纸上,确保拍摄光线充足,手臂和腿不要叠放到身体上,同时不包含任何侵权信息。
第二步,调整角色周围框的大小,确保它正好框柱角色。
第三步,将角色从背景中分离出来,并突出显示它。如果角色的身体部分没有突出显示,可以使用画笔和橡皮擦工具来修复它;如果手臂或腿粘在一起,可以用橡皮擦工具将它们分开。
第四步,检查角色的关节。如果你的角色没有任何手臂,将肘部和手腕关节拖离角色很远,它仍然可以被动画化。
下一步便是将使用分割蒙版和这些关节位置,用动作捕捉数据来将你上传的角色动画化。你可以任意选择想让这个角色做出的动作。
如果你想自己下载和运行代码,可以到GitHub项目上按照指引步骤进行尝试。
代码指路:https://github.com/facebookresearch/AnimatedDrawings
项目相关:该项目的论文题目为《一种让儿童人物绘图动画化的方法》(A Method for Animating Children’s Drawings of the Human Figure),已被计算机图形领域国际顶级期刊Transactions on Graphics接收
并在国际计算机图形顶级会议SIGGRAPH 2023上展示。
项目网站:http://www.fairanimateddrawings.com
论文指路:https://arxiv.org/abs/2303.12741
代码指路:https://github.com/facebookresearch/AnimatedDrawings
数据集指路:https://github.com/facebookresearch/AnimatedDrawings#amateur-drawings-dataset