干货复盘深度解读数码科技在中国网络视听

年11月29日下午,第六届中国网络视听大会规模最大的分论坛--“更清晰更美丽更安全--AI重塑视频内容新时代发展论坛”成功召开。论坛由光明网、国家广播电视总局广播科学研究院、数码视讯科技集团共同主办,吸引了业界余名行业专家,共同探讨AI与4K这两大内容新时代的行业焦点方向。

作为论坛主办方之一,数码视讯科技集团由融媒体事业部总经理王雪发表了紧扣论坛主题的演讲,从4K的内容、应用、产业化生态等多个角度出发,剖析问题并阐述了新时代AI对于4K产业的服务和赋能,层层递进,提出了三个核心点:应用于内容修复和4K重建的“AI视频算法族”、应用于4K视频传输的动态压缩、无损传输和终端场景重构的“AI传输应用解决方案”、应用于建立水印信任体系和司法效力的“水印信息认证中心”。以下,复盘并解读在大会提出的这三点“干货”内容。

一、如何解决4K内容少的问题

图一AI服务4K内容,解决供需矛盾

AI视频算法族是数码科技提出的一系列用于提升视频品质的AI算法,其中,最典型的超分辨率、增强、还原、修复这四种AI算法,可以从客观指标和主观观感两个方面,提升视频的质量。适用于老片翻新、高清转4K、伪4K增强至4K等方面。以下这个应用实例,就是AI视频算法族的一个实际应用场景,最终将老电影重建为4K内容,主、客观指标均达到央视4K标准。

图二AI视频算法族的应用实例:《13朵玫瑰》4K化

1.超分辨率算法

将低分辨率视频重构成高分辨率视频。相比于很多企业理解的“上变换”,AI超分辨率处理使用了深度学习技术,可通过特征提取,特征维度变换,非线性链接,映射,反卷积放大等过程,并经过神经网络处理,可以让视频在提升分辨率的同时,获得与分辨率同等级的画质。而上变换仅仅是通过像素的简单复制与渐变,来填充因为分辨率拉伸而出现的画面空缺。需要特别强调一下的是,基于深度学习的特性,针对不同类型的内容,分别建立了不同的AI超分算法库,如旅游、动漫、运动等,让超分算法在各自专精的视频领域成熟和精进。

图三AI超分的实例《圣斗士星矢》

2.AI视频增强算法

从主观和客观指标两个方面,对内容进行二次提升的增强算法,如去噪,通过噪点捕捉及填充技术,进行全图去噪,让画面更清晰;色域变换,将BT/映射为BT.,使图像色彩更丰富;智能插帧,将25/30帧的节目变为50/60帧,使画面更流畅;动态转换:将SDR变换为HDR;让画面对比更强烈等等。通过种种技术的结合使用,提升内容质量,也提升了内容价值。

图四AI视频增强的实例《生命礼赞》

3.视频还原

对一些因为过爆、编码错误等导致画面失真的视频,通过AI识别和分析,智能还原色彩、景深等,对失真画面进行逆向修复。对于老旧视频的翻新具有很好的效果。

图五AI视频还原的实例《三国演义》

4.视频修复

对于视频中的毛刺,马赛克等缺失画面信息,深度训练后的AI修复算法通过比岁周围像素信息,基于图像特征数据,生成所缺失部分内容。从而达到画面的完整,清晰,流畅。如果视频增强、视频还原等技术属于“锦上添花”,那么视频修复就绝对称得上“无中生有”。不过视频修复的效果与算法的成熟程度(不同的联想与生成策略),学习训练的数据量(需要大量数据训练才能获得比较良好的画面特征感知效果),还有画面本身细节变化的丰富性具备强相关性,所以,还有不断的优化、进步空间。

图六AI修复的实例《北京一隅》

二、如何解决4K内容传输和应用的问题

图七AI服务传输与应用

实际上,4K内容的大码率一直是它的阿克琉斯之踵,制约了它更广泛的应用。虽然从H./AVS+到H./AVS2,编码格式的不断提升一次次试图解决图像码率的问题,但是高压缩率带来的不只是更低的节目带宽,同时还有不可避免的图像质量损失。这个章节的内容,是从内容端到传输链路再到终端,结合AI技术,提出兼顾图像质量和视频码率压缩之间的平衡点的解决方案。

1.AI动态压缩的前端视频深度压缩技术

AI动态区域压缩是其中一个解决方案。方案的核心思想,是在前端通过对画面中运动目标的监测,动态地、分区域地调整同一个画面中不同部分的压缩码率。快速运动部分的信息量大,就采用相对高的压缩率;慢速运动或者静止部分的信息量小,就采用相对低的压缩率。然后根据画面的不断变化,持续调整多种压缩率的比例和区域,某种程度上其原理就相当于单个节目的统计复用。

通过这种方式,在尽量保证4K内容质量的前提下,达到最大的图像压缩率,尽可能地降低传输带宽,从一个侧面上解决4K节目传输难的问题。

图八AI服务前端视频压缩:基于运动目标检测的深度压缩视频编码

2.AI浅压缩的4K无损传输技术

4K现场直播是4K内容的一大重要来源,尤其是大型活动的现场直播,比如演唱会或者体育比赛,这些因为其内容特殊性,是最先展开4K化尝试的。不过因为4K内容编辑的复杂性远超高清,所以目前现场编辑的方式成本过高,效率也不能让人满意,内容传输到后端进行编辑是目前的主流方式。为了提高内容效果,编辑的素材越清晰,效果越好。而这又提出了4K的超高码率与现有传输系统不匹配的问题,好的内容传不回来,或者传回来质量达不到4K,做不出好的4K节目。

图九4K现场直播场景

对此,前面提到的AI视频动态压缩是一个解决方案方式,那是在前端去解决。这里,基于AI浅压缩技术的4K无损传输是另一个解决方案,是在传输环节想办法。

如果是在质量优先的指导思路下,就需要尽可能地把现场素材完整的传回去,尽量不在前端进行有损画面信息的剧烈图像压缩。因此这里提出了基于AI视频特征策略以及SMPTEST,-1/-2,-6等浅压缩标准的基带化IP传输方案,可以把现场采集到的基带信号在尽量不损失画面信息,或者损失那些易恢复的,人眼难以察觉的的画面信息前提下,由基带信号转化为适合远距离传输的IP信号,通过光纤等方式传回后方编辑中心。实际上这种方式的雏形,国外同行在之前的法国欧洲杯就已经开始了尝试,紧靠浅压缩标准进行转化就可以取得很好的效果。而在AI视频特征策略的辅助下,可以达到同质量下更大的压缩力度,或者同带宽下更完好的视频信息保留。

图十AI服务4K无损传输:基于浅压缩的4K无损传输

3.AI终端场景重构

事实上,很多情况下,拿到的内容或者传输链路都不受控制,质量达不到要求。这个时候就需要更加灵活的视频质量保障方案,在终端尝试解决问题。为此,基于视频场景识别的4K内容场景重构技术,可以把低质量内容消灭在最后一环。

简单来说,就是现场采集设备简陋不要紧,传输网络狭窄也没关系,只要把画面中的关键信息传回来,配合AI图像场景重构技术,通过一系列的修复,超分等技术处理,可以把素材恢复到高清或4K级别,这样进行编辑制作后,也可以得到4K级别的内容。这种方式能极大地扩展4K内容的来源,同时也可以辐射到监控,探测等传统专业视频领域,打破这些领域里已有采集终端与传输链路对4K节目的制约。

同样,因为AI场景重构策略是基于深度学习技术的,所以根据不同的专业领域,需要建立不同的算法库去进行训练提升,最后恢复的效果会越来越专业,越来越好。

图十一AI终端场景重构

4.AI视频服务于应用

上述三种传输方案,都是基于对视频内容特征和关键信息的识别,通过AI算法,进行相关训练和分析、处理。在这里,额外引申两种比较常见的,基于对视频AI识别和分析的应用:

1)基于人脸识别的场景叠加:通过AI算法,可以更加精细化的掌握人脸特征、环境特征,然后匹配更优化的场景解决方案,比如试妆;

2)基于人脸的视频信息识别:通过深度学习技术,可以更精准掌握一段视频中的关键信息或者特定信息,进而配合应用系统,做更为精确的操作,如关键人物识别、敏感信息识别等。

图十二AI服务视频应用

三、如何保障4K内容生态的安全和健康发展

图十三4K生态健康发展的保障

4K内容的稀缺性和高价值,事实上,会加速内容安全行业的进一步发展。市场上常见的两种内容安全管理技术--DRM和数字水印,正是从对内容盗版、盗播、盗用的“防守”和“反击”两个层面进行保障。DRM,一套成熟的加、解密和授权体系,从技术和商业化两个层面上,目前都已逐步成熟、完善。ChinaDRM的标准化,解决了技术壁垒,CDTA认证,规范了第三方认证的商业模式。而数字水印技术,目前在国内还处于各厂家独立发展的阶段,未形成商业体系。

图十四数字水印

数字水印,一种在多媒体文件内嵌入数字信息的技术。通过“加水印”和“水印鉴定”两个步骤,可以快速比对并确定视频的来源,是一种有效的“盗版溯源”的方案。尤其在4K时代,内容的稀缺性从根本上反映出“盗版溯源”的商业价值。一个对盗版源有效的司法鉴定和追溯,带来的价值是巨大的。但在当下,数字水印的公司既是选手又是裁判,“加水印”和“鉴定水印”处于“自说自话”的状态,缺乏第三方监管与法律认证,无司法效力。

参考国外成熟的市场和DRM的成功案例,一个可靠的第三方水印信息认证平台,能够最大化数字水印的法律效力、打通水印的信任链条。

第三方水印信息认证中心,是规范水印标准的平台,也是对所加注的水印信息进行一次签名的平台。通过平台“签名”,认证企业“解签”的模式,保证了水印信息的客观、有效。

图十五第三方水印信息认证中心--最大化水印的效能

四、“AI”视频战略

图十六AI视频战略

“视频”是数码科技产品、技术、市场的核心聚焦点,是企业的“DNA”。“AI”视频战略是围绕“视频”核心定位,面向超高清时代更广泛的视频应用前景和市场,在自主算法、产品、平台的基础上,提出的让视频“更清晰、更安全、更畅通、更美丽、更轻松”的战略方向,以此为抓手,进一步更好地服务于广电、政府、内容制作发行、教育、金融等行业领域。



转载请注明地址:http://www.1xbbk.net/jwbys/2437.html


  • 上一篇文章:
  • 下一篇文章:
  • 网站简介 广告合作 发布优势 服务条款 隐私保护 网站地图 版权声明
    冀ICP备19027023号-7