北京比较好的白癜风医院 https://wapjbk.39.net/yiyuanzaixian/bjzkbdfyy/
一秒让墙上的广告消失,保留完整墙面;户外大屏幕显示LOGO被擦除后,背景毫不违和……
欢迎来到魔法世界——
停!这其实并不是什么魔法,而是由弗吉尼亚理工大学提出的基于流的视频补全算法FGVC的一项应用。作为视频的“橡皮擦”,FGVC可应用在视频去水印、物体移除、画面扩展等方面,并入选ECCV,极具研究意义。
在智能时代,通过视频补全算法,后期可以利用影视剧集数据构建模型,将非局部流连接引入到时间遥远帧,实现真正的视频补全或者抹除,堪称音视频产品的魔法师。正因如此,视频补全也成为第二届“马栏山杯”国际音视频算法大赛重要赛题之一。
我们不难发现,随着AI技术的持续发展,算法带来了无限的想象空间。比如优质视频的推荐,视频水印的消除,甚至还能通过算法来掌握音乐节奏,让人人都能享受更加优质的音视频服务。那么作为开发者,要如何才能在算法的浪潮之中实现突破呢?
为给广大开发者及算法爱好者提供一个展现自身实力的舞台,共同推进业界难题攻坚、行业创新探索,由中国(长沙)马栏山视频文创产业园和芒果TV联合举办第二届“马栏山杯”国际音视频算法大赛正式拉开序幕。本次大赛分为邀请赛、正式赛及现场颁奖交流分享三个阶段,其中邀请赛阶段已经结束,而正式赛则分为视频补全、视频推荐及音乐节拍检测三大赛道,更有丰厚奖金,为了帮助大家取得更好的成绩,笔者为大家梳理一下每个赛题的题目要求和解题思路。
三大赛题,瞄准音视频算法业务焦点
NO.1视频补全赛道
视频补全技术是用新合成的内容填充给定的时空区域,可以应用在视频修复、视频编辑、特效处理、去水印等场景中。新合成的内容应该无缝嵌入视频中,使得更改不被察觉。而此赛道就是要求以大赛组织方提供的视频片段数据为基础,进行模型训练,对缺失区域进行补全。其难点在于确保补全后的视频连贯自然,不具有违和感。
在这个领域,几年前常用的方法是基于补丁的合成技术直接填补像素,该方法合成速度慢、较难控制。目前常用的视频补全方法通常需要借助深度学习来实现,如果仅依赖卷积神经网络来借用复制补充,不仅效率低,合成图像很容易因为图形和纹理的模糊导致用户观感较差。这里可以参考FGVC算法,经过计算稠密光流(RAFT)、计算边缘(Canny)、补全边缘(EdgeConnect)、补全光流、传播RGB值等一系列流程,能够取得更好效果。
此外,结合利用Deepfill进行图像补全也是一个不错的思路。相关论文和项目地址详细传送门如下:
FGVC论文
转载请注明地址:http://www.1xbbk.net/jwbfz/3464.html