美食网站设计欣赏,财政局网站建设方案,公司网站首页图片素材,领动建站预测编码技术
预测编码#xff08;Prediction Coding#xff09;是指利用已编码的一个或多个样本值#xff0c;根据某种模型或方法#xff0c;对当前的样本值进行预测#xff0c;并对样本真实值和预测值之间的差值进行编码。
视频中的每个像素看成一个信源符号#xff…预测编码技术
预测编码Prediction Coding是指利用已编码的一个或多个样本值根据某种模型或方法对当前的样本值进行预测并对样本真实值和预测值之间的差值进行编码。
视频中的每个像素看成一个信源符号它通常与空域上或时域上邻近的像素具有较强的相关性因此视频是一种有记忆信源。 预测编码技术通过预测模型消除像素间的相关性得到的差值信号可以认为没有相关性或者相关性很小因此可以作为无记忆信源进行编码。
视频预测编码的主要思想是通过预测来消除像素间的相关性主要分为帧内预测和帧间预测。 帧内预测利用当前图像内已编码像素生成预测值。 帧间预测利用当前图像之前已编码图像的重建像素生成预测值。
H266/VVC帧内预测编码过程
参考像素获取
参考像素值获取模块对当前CU相邻参考像素是否可用进行判断。H266沿用大范围边界像素作为当前CU的参考当参考像素不可用或不存在时使用默认值填充的方式得等到参考像素值。 H266引用多参考行内预测Multiple Reference Line Intra Prediction MRLP技术领域像素可选范围扩展到当前CU上侧三行和左侧三列。 得到邻域像素后进行平滑滤波或差值滤波引入模式依赖的帧内平滑Mode Dependent SmoothingMDIS技术根据预测模式和CU尺寸进行不同的滤波处理。
参考像素范围
单参考行像素 当参考像素不存在或者不可用时比如图像边界、Slice边界、Tile边界或尚未编码块H266使用最邻近的像素进行填充比如下图A的参考像素不存在则A所有像素都用B的最下方的像素进行填充。 如果所有区域参考像素都不可用则用固定值填充公式Mid1(bitdepth-1)如果像素比特深度是8则固定值是128如果是10则固定值是512比如第一个CU的参考像素就是用固定值填充。
多参考行像素 MRLP技术允许使用邻近的3行列参考像素选择其中的1行列生成预测值对于不存在或者不可用的像素采用于单行相同的填充方式。 为了平衡性能仅允许MPM列表中的模式使用MRLP技术。
参考像素滤波
MDIS 包含3种滤波器。满足条件下的整数平滑滤波、非整像素下的三次差值滤波器、非整数的高斯差值滤波器。 整数平滑滤波 是否对参考像素进行滤波由当前CU的大小、预测模式等条件需要同时满足如下表格中的五个条件才能使用平滑滤波。
序号条件1参考行限制预测过程使用单参考行像素2大小限制当前CU包含像素的个数大于323仅对亮度分量使用4不使用ISP模式5模式限制当前CU选择的模式属于Planar模式或者对角模式
滤波方法为3抽头滤波器抽头系数为[0.25 0.5 0.25]。
预测值计算
根据参考像素值采用特定的预测模式计算待编码CU每个像素的预测值。H266将角度预测模式扩展到了65种加上DC模式和Planar模式一共67种模式称为传统预测模式。 针对宽高不等的方形CU宽角度帧内预测Wide Angle Intra PredictionWAIP技术表达了更多的预测方向模式编码扩展[-14, 80]。 H266还引入了基于矩阵的帧内预测Matrix-based Intra PredictionMIP技术借助神经网络离线训练得到的多个权重矩阵生成预测值对传统预测模式有效补充。
预测值修正
基于像素距离对部分帧内预测模式的预测值进行修正H266/VVC使用了位置相关的帧内预测组合Position Dependent Intra Prediction CombinationPDPC技术借助不同位置的参考像素值修正预测值。
帧内子区域划分Intra Sub-Partitions ISP技术
分量间线性模型预测Cross-Component Linear Model Prediction CCLM技术
亮度分量的最可能模式Most Probable ModeMPM技术
色度分量亮度派生模式Derived ModeDM技术
H266/VVC帧内预测编码工具使用限制条件
帧内编码工具使用限制说明MRLP仅在MPM模式中使用、禁用PDPC技术、ISP技术不应用MDIS仅应用于亮度分量、仅部分模式应用、MIP技术不应用、CCLM技术不应用WAIPCU宽高比不为1时可以应用MIP色度分量受限使用、禁用MDIS技术、禁用MRLP技术、禁用PDPC技术、ISP技术不应用PDPC仅部分模式应用、ISP技术受限应用、MRLP技术不应用、MIP模式不应用ISP仅应用于亮度分量、禁用MRLP技术、禁用MIP技术、PDPC技术受限应用CCLM仅应用于色度分量、禁用MDIS技术、禁用MRLP技术、禁用PDPC技术MPM仅应用于亮度编码过程DM仅应用于色度编码过程
参考
JVET输出文档 https://www.itu.int/wftp3/av-arch/jvet-site/ 书籍 新一代通用视频编码H266/VVC原理、标准与实现[万帅 霍俊彦 马彦卓 杨付正/著]
备注
本系列博客主要是对《新一代通用视频编码H266/VVC原理、标准与实现》的学习笔记。
