paper | Generative Adversarial Network-Based Intra Prediction for Video Coding

绝望的乐园 2020-02-15

摘要

提出一种新的帧内预测方法,使用GAN来消除空间冗余。基于GAN的方法的方法使用更多的信息来产生更灵活的预测模式。帧内预测被建模为一个去瑕疵过程,使用GAN来充满重建帧中丢失的部分。GAN模型被加入到编码器和解码器中,与传统的预测模型进行率失真比较。HM、VTM节约6%-8%的比特。

1.介绍

更好的预测导致更少的残差,也就需要更少的编码bit。与传统的基于解码样本的空间外推extrapolation的帧内预测不同,我们把帧内预测视作一个去瑕疵inpainting问题,采用GAN来预测像素。这篇文章的主要贡献有:

  • intra预测的过程被表述为一个基于学习的inpainting task,利用GAN的generator在已经解码的block的基础上对缺失的部分进行预测,充分利用邻域信息,可以更好的预测当前待编码单元。
  • 使用提出的GAN方法对intra预测模块进行了重新设计,并进行了率失真操作(RDO),以在传统方法和GAN方法之间选择最佳方法,并附加一个标记。
  • 在编码器和解码器中都实现了基于GAN的帧内预测,提高了帧内编码性能。大量的实验结果表明,与目前最先进的基于深度学习的intra预测方法相比,该方法具有更好的性能。

2.相关工作

intra coding

inpainting image

图像inpainting的目的是填补一个图像缺失的部分,使其完整和自然。图像inpainting的方法可以分为两类:(1)邻像素插值的方法;(2)深度学习的方法。

第一类是根据相邻信息的相互关系来推断缺失的部分。Li等人提出了[23]提出了一种基于颜色方向块稀疏性的图像绘制方法,以保持缺失部分的结构一致性、纹理清晰度和内在一致性。该方法利用超小波变换对多目标信号进行估计退化图像的方向特征。Jin等人提出了[24]摘要提出了一种基于小块稀疏的平面方向导数图像绘制算法,保证了缺失区域边界元的连续性。在[25]中提出了一种基于马尔可夫随机场(MRF)的图像inpainting算法,该算法从一组patch中选取合适的搜索空间来选择候选patch。

近年来,基于深度学习的方法也被应用到图像inpainting中。在[26]中提出了一种基于上下文像素预测的无监督视觉特征学习算法。Yu等人提出了一种新的基于深度学习的图像inpainting系统,利用自由形式的mask和输入来完成图像。该系统是由门控卷积从数百万图像中学习而来,无需额外的标签。Yang等人使用条件GANs作为主干,并引入了一种新的基于块的程序方案来稳定训练阶段,以生成高质量的逼真的inpainting效果。在[29]中提出了一种基于全局GAN和局部GAN的图像融合方法。针对局部和全局一致的[30]图像,提出了一种新的图像补全方法。

3.动机和问题表达

H.264和HEVC的多种预测模式来预测都有一个缺点,那就是可参考的像素有限。通过实验,尝试了每种预测模式,发现它们不够灵活,结果都不够完美。因此,内部预测问题如图3所示,从左上、左和上的块都是可用信息,待编码块位于右下。使用邻居信息来完成inpainting任务。与HEVC中只利用最邻近的列和行的像素相比,可以利用更多的信息。此外,还可以根据生成模型生成可伸缩的预测模式。具体来说,可以生成圆形和椭圆形模式,以弥补传统内部预测的局限性。然而,直接将GAN应用于内层预测还存在一些挑战性的问题。特别是与传统inpainting方法解决缺部在中心的问题相比,缺少了周围的信息,只剩下上面和左边的方块,很难恢复结构信息。这促使我们设计一个先进的inpainting模型,专门用于内部预测任务。
paper | Generative Adversarial Network-Based Intra Prediction for Video Coding

4.提出的基于GAN的帧内预测方法

在本节中,我们将intra预测过程嵌入到inpainting框架中,开发了基于深度学习的intra编码方案。特别地,我们的intra预测策略采用了基于GAN的inpainting,因为它在推断缺失像素方面有很好的表现。更具体地说,第4-A节讨论了用于内部预测的基于GAN的inpainting的体系结构。第4-B节比较了两种方案。利用基于GAN的模型,我们将其整合到HEVC编解码器中进行intra预测。最后,第四部分对GAN模型的训练进行了讨论。

相关推荐