RAW、RGB 、YUV三种图像格式理解

1. 相关概念

1.1 颜色与色彩空间

• 颜色

颜色是人眼感知到的现象，它是由光波的频率和强度所决定的，仅仅存在于人的眼睛和大脑中，因此为了方便描述颜色，引入了色彩空间。

• 色彩空间

色彩空间（Color Space）是用于描述、定义和组织颜色的一种方法，它是一个三维坐标系，其中每个坐标都代表一种颜色。在计算机图形学中，色彩空间被广泛应用于调整、转换和操纵颜色。在色彩空间中，经常使用的三种坐标是 RGB（红色、绿色、蓝色）。

RGB：常用于在显示器或电视屏幕上显示颜色，使用红、绿和蓝三种原色来组合出各种颜色，是一种加法颜色模型。

1.2 RAW图像

• RAW

RAW 图像是指图像传感器数字图像，这种图像未经过任何处理，未压缩和未降噪，保留了其原始数据，以便后续的数字后期制作和处理。

• 采集过程

环境光/补光灯照在物理表面形成反射 –> 镜头汇聚光线 –> 图像传感器彩色滤镜阵列(CFA)将单色光照在光电二极管 –> 光电转换 –> ADC采集，其他模块转换排列为 设置的 bayer格式的RAW。

RAW 一般是使用 bayer 格式进行排列，每个像素实际只包含单种特定颜色 的光的强度(比如单个像素只能为R/G/B亮度信息)。

由于人眼对于绿色更加敏感，所以加重了其在感光点的权重，Bayer格式中的G分量都是B、R分量的两倍。

• bayer 序格式按照排列组合，一共分为4种：

• 排列1	排列2	排列3	排列4
  RG GB	BG GR	GR BG	GB RG

  

1.3 RGB图像

RGB 图像是一种数字图像格式，其名称既指代了该图像格式所使用的颜色空间（红、绿、蓝），也指代了图像本身，其中包含了红、绿、蓝三色通道的像素值。

在 RGB 空间中的颜色可以通过各种亮度级别的三种原色进行表示，通常使用 8 位整数值（0-255）来描述每个通道的亮度级别。因此，成像设备所成功捕捉到的颜色信息可以进行比较精确的映射和表示。

常用的 RGB 格式包括颜色通道的信息位数、每种颜色可以表示的颜色数量和典型应用场景等。

注意，这里列出的应用场景只是典型的用途，实际应用还要根据具体情况进行选择。

1.4 YUV图像

YUV 图像是一种将图像亮度（Y）和颜色（U、V）分离的数字图像格式，常用于视频编码和数字图像处理的领域。下面介绍一下常见的 YUV 采样与排列方式。

YUV 采样方式

在 YUV 图像格式中，针对颜色信息的采样方式有以下几种：

• 4:4:4：Y、U、V 三个分量的采样比例均为 1：1，没有任何采样压缩，图像质量最高，但是处理的数据量也最大，需要更多的存储和传输带宽。

• 4:2:2：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：2，即在水平方向上每两个 Y 像素对应一个 UV 像素，垂直方向上不进行压缩，可支持更多的压缩算法和更高的编码效率。

• 4:2:0：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：2，即在水平和垂直方向上每两个 Y 像素对应一个 UV 像素。是很多视频编解码标准的默认格式之一，可在较小的数据量和带宽开销下，实现较高的编解码效率。

• 4:1:1：Y 分量的采样比例为 1：1，U、V 分量的采样比例为 1：4，即在水平方向上每四个 Y 像素对应一个 UV 像素，垂直方向上不进行压缩，在一些比较老旧的视频编解码标准中可能会使用。

YUV 排列方式

在 YUV 图像格式中，针对采样后的 Y、U、V 分量的排列方式有以下几种：

• Planar：将 Y、U、V 三个分量单独存放在不同的内存区域中，每个分量都是独立的一维数组，三个数组都存储着相同的宽度和高度。

• Packed：将 Y、U、V 三个分量数据以一种交叉存储的方式来存放，三个分量紧密地排列在内存中，常见的排列方式有 YYUV、YVYU、UYVY 等。

• Semi-Planar：将 U、V 两个色度分量合并在一起作为一个独立的数组 VU（或者 UV），与亮度分量 Y 组成一个二维数组，常见的排列方式有 YUV420、YUV422 等。

• Interleaved：将 RGB 24 位像素格式进行 YUV 转换后得到的 YUV422_YUYV 格式，即 YUV 分量以交错方式存储在内存中，Y 和 U、V 之间依次交替进行存储。

总之，对于 YUV 图像格式，常见的采样方式包括 4:4:4、4:2:2、4:2:0 和 4:1:1 等，常见的排列方式包括 Planar、Packed、Semi-Planar 和 Interleaved 等。根据不同的应用场景和编解码标准的需求，通常会选择不同的采样和排列方式。

下面是YV12（YUV420）格式简图以及内部排布图：

2. 分类简图