摘要

提出一种新的帧内预测方法，使用GAN来消除空间冗余。基于GAN的方法的方法使用更多的信息来产生更灵活的预测模式。帧内预测被建模为一个去瑕疵过程，使用GAN来充满重建帧中丢失的部分。GAN模型被加入到编码器和解码器中，与传统的预测模型进行率失真比较。HM、VTM节约6%-8%的比特。

1.介绍

更好的预测导致更少的残差，也就需要更少的编码bit。与传统的基于解码样本的空间外推extrapolation的帧内预测不同，我们把帧内预测视作一个去瑕疵inpainting问题，采用GAN来预测像素。这篇文章的主要贡献有：

• intra预测的过程被表述为一个基于学习的inpainting task，利用GAN的generator在已经解码的block的基础上对缺失的部分进行预测，充分利用邻域信息，可以更好的预测当前待编码单元。
• 使用提出的GAN方法对intra预测模块进行了重新设计，并进行了率失真操作(RDO)，以在传统方法和GAN方法之间选择最佳方法，并附加一个标记。
• 在编码器和解码器中都实现了基于GAN的帧内预测，提高了帧内编码性能。大量的实验结果表明，与目前最先进的基于深度学习的intra预测方法相比，该方法具有更好的性能。

2.相关工作

intra coding

inpainting image

图像inpainting的目的是填补一个图像缺失的部分，使其完整和自然。图像inpainting的方法可以分为两类：（1）邻像素插值的方法；（2）深度学习的方法。

第一类是根据相邻信息的相互关系来推断缺失的部分。Li等人提出了[23]提出了一种基于颜色方向块稀疏性的图像绘制方法，以保持缺失部分的结构一致性、纹理清晰度和内在一致性。该方法利用超小波变换对多目标信号进行估计退化图像的方向特征。Jin等人提出了[24]摘要提出了一种基于小块稀疏的平面方向导数图像绘制算法，保证了缺失区域边界元的连续性。在[25]中提出了一种基于马尔可夫随机场(MRF)的图像inpainting算法，该算法从一组patch中选取合适的搜索空间来选择候选patch。

近年来，基于深度学习的方法也被应用到图像inpainting中。在[26]中提出了一种基于上下文像素预测的无监督视觉特征学习算法。Yu等人提出了一种新的基于深度学习的图像inpainting系统，利用自由形式的mask和输入来完成图像。该系统是由门控卷积从数百万图像中学习而来，无需额外的标签。Yang等人使用条件GANs作为主干，并引入了一种新的基于块的程序方案来稳定训练阶段，以生成高质量的逼真的inpainting效果。在[29]中提出了一种基于全局GAN和局部GAN的图像融合方法。针对局部和全局一致的[30]图像，提出了一种新的图像补全方法。

3.动机和问题表达

H.264和HEVC的多种预测模式来预测都有一个缺点，那就是可参考的像素有限。通过实验，尝试了每种预测模式，发现它们不够灵活，结果都不够完美。因此，内部预测问题如图3所示，从左上、左和上的块都是可用信息，待编码块位于右下。使用邻居信息来完成inpainting任务。与HEVC中只利用最邻近的列和行的像素相比，可以利用更多的信息。此外，还可以根据生成模型生成可伸缩的预测模式。具体来说，可以生成圆形和椭圆形模式，以弥补传统内部预测的局限性。然而，直接将GAN应用于内层预测还存在一些挑战性的问题。特别是与传统inpainting方法解决缺部在中心的问题相比，缺少了周围的信息，只剩下上面和左边的方块，很难恢复结构信息。这促使我们设计一个先进的inpainting模型，专门用于内部预测任务。

4.提出的基于GAN的帧内预测方法

在本节中，我们将intra预测过程嵌入到inpainting框架中，开发了基于深度学习的intra编码方案。特别地，我们的intra预测策略采用了基于GAN的inpainting，因为它在推断缺失像素方面有很好的表现。更具体地说，第4-A节讨论了用于内部预测的基于GAN的inpainting的体系结构。第4-B节比较了两种方案。利用基于GAN的模型，我们将其整合到HEVC编解码器中进行intra预测。最后，第四部分对GAN模型的训练进行了讨论。