当前位置:首页 >教程首页 > 影视后期 > >技术解析!视频一键Roto真实现了?

技术解析!视频一键Roto真实现了?

发布时间:2020-10-16 09:17:26

AI修图,好像最早是PS推出的一个功能:内容感知。后来NVIDIA研究人员开发了一个更厉害的软件演示,可以说“一键修图”。在图上把不需要的物体只要抹一下,算法就会自动填补抹掉物体空白处,而且融合还相当可以。视频一键Roto真实现了?一起来看今天这篇技术解析!

0.gif

很多小伙伴说,这只是图片,如果是视频那才真正的厉害。如果有这样的技术,Roto工作效率会大大提高。哎?这次真的来了。研究人员本着“只要你敢想,我就给你研发原则”真的做出来了。来,看动图!

1.gif

这里要强调的是不仅仅扣除了人还要包括阴影区域,而且轮廓也要从镜头中消失。看见上图了么?就是这么Niubility!让我们看看其他一些例子。

2.gif

如果单独修复一张图,这远远不是研究人员的追求,所以要换成视频也必须看起来非常完美才可以。

3.gif

可是因为时间连贯性的要求,视频的处理是非常的难。针对这个问题自弗吉尼亚大学和Facebook的研究团队四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf发表了一篇论文《Flow-edge Guided Video Completion》翻译过来应该是《光流边缘引导视频算法》。

论文介绍是这样说的:

“我们提出了一个新的基于光流的视频修复算法。之前的光流修复算法通常无法保持运动边界的锐度。我们的方法首先提取并完成运动边缘,然后利用运动边缘来引导具有锐边的分段光滑流补全。现有的方法在相邻帧之间的局部光流连接之间传播色彩。然而,并不是视频中所有缺失的区域都可以用这种方法进行恢复,因为运动的边界形成了不可逾越的障碍。我们的方法通过相隔较远的帧之间的全局光流(non-local flow)连接减轻了这个问题,允许在运动边界上传播视频内容。我们在DAVIS数据集验证了我们的方法,视觉和定量结果都表明,我们的方法优于最先进的算法。”

实现方法概述:

那过程到底是如实现的呢?喏,都在下面这张模型图里了。

4.png

过程大致是这样的:首先,输入一个要修复的视频和一个二进制掩码视频,大概意思就是要告诉算法哪些部分需要合成。

5.webp.jpg

然后算法开始计算正向和反向流以及一组非相邻帧,补全这些流场中的缺失区域。

6.webp.jpg

红线部分是神经网络自己补充出来的边缘

接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。

完事后,沿着流的轨迹为每个丢失像素传播一组候选像素。从链接前向和后向的流向量得到两个候选点,直到到达一个已知像素。

7.webp.jpg彩色文字

上图中,绿色区域代表缺失部分;黄色、橙色和棕色线分别代表:第一个非局部帧、当前帧和第三个非局部帧的扫描线。

通过跟踪流动轨迹(黑色虚线)达到缺失区域的边缘,可以获得图中蓝色像素的局部候选对象。但由于人腿部运动形成的流动遮挡,计算红色像素点的候选像素就有些困难了。这里研究人员引入非相邻帧的非局部光流后,红色像素点就得到了额外的非局部领域(黄线和棕线上的红色像素点),然后就还原了被腿部遮挡的真实背景。

8.webp.jpg

然后,再在梯度域中,使用置信加权平均值(A Confidence-weighted Average)将每个缺失像素的候选像素与有效候选像素进行融合以便重建颜色。

最后将整个过程不断迭代,并将结果传播到视频的其余部分,直到没有缺失像素为止。

是不是惊呆了?这样的技术如果能应用在我们CG行业的Roto上简直疯狂的不要不要的,效率得提高多少!!希望这个技术能尽快应用到实际项目中,哈哈,就不用一帧一帧抠图啦!

来源:CG世界

学员作品赏析
  • 2101期学员李思庭作品

    2101期学员李思庭作品

  • 2104期学员林雪茹作品

    2104期学员林雪茹作品

  • 2107期学员赵凌作品

    2107期学员赵凌作品

  • 2107期学员赵燃作品

    2107期学员赵燃作品

  • 2106期学员徐正浩作品

    2106期学员徐正浩作品

  • 2106期学员弓莉作品

    2106期学员弓莉作品

  • 2105期学员白羽新作品

    2105期学员白羽新作品

  • 2107期学员王佳蕊作品

    2107期学员王佳蕊作品

专业问题咨询

你担心的问题,火星帮你解答
  • 武汉游戏策划培训哪里好

    很多小伙伴不太理解为什么大家要去培训机构学习游戏策划,其实在专业培训班学习游戏策划是很有必要的,因为游戏策划要掌握的技能不仅包......

  • 游戏插画师就业前景

    随着国内游戏市场的发展,游戏企业的游戏诞生数量和质量都在不断变化,要想在市场中立足,很大程度上是依赖游戏内容以及后期宣发的,而......

  • 3d插画是什么意思

    3d插画是什么意思?说到3D立体画,马上就会让人联想到那种帅炸天际又妙趣横生的街头绘画。也会觉得创作这样的画是很复杂的。然而,......

  • 游戏插画师是做什么的

    很多人因为喜欢游戏对游戏制作行业感到好奇。在一个游戏制作团队中,是有四个部分的,分别是策划、美工、程序开发、运维。而美术设计方......

  • 上海宝山区影视特效培训哪家好

    特效就是影视的真实拍摄过程中无法实现的,要通过后期人工制造出来的假象和幻觉,就是影视后期制作工作的总称,对拍摄完的影片素材或软......

  • 广告公司插画师干嘛的

    插画师是一群以绘画为职业的人,也是很多企业需求的人才。而且随着插画与其他行业的交集越来越多,更多的企业开始打破传统,招收插画师......

×
扫码快速获取
×