05 图像分割

分割 Segmentation

• 定义：根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同
• 图像分割本质上是一个分类问题
  • 二分类：前景和背景
  • 多分类：不同类型的前景相互区分
• 关键技术
  • 分类的标准是什么
  • 如何按照标准分类

基于阈值的分割方法

• 基本思想：基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中
• 关键：按照某个准则函数来求解最佳灰度阈值
  • 全局阈值：整幅图像使用同一个阈值做分割
  • 自适应阈值：根据图像局部特征分别采用不同的阈值进行分割
• 特点：
  • 计算简单，效率较高
  • 只考虑像素点灰度值本身的特征，一般不考虑空间特征，对噪声比较敏感，鲁棒性不高

全局阈值 VS 自适应阈值

• 全局阈值：整幅图像使用同一个阈值做分割
  • 适用：背景和前景有明显对比的图像
  • 常用方法：利用图像灰度直方图的峰谷法、最小误差法、最大类间方差法、最大熵自动阈值法
• 自适应阈值：根据图像局部特征分别采用不同的阈值进行分割
  • 适用：物体和背景在各处的对比度不一样（很难用统一的阈值将物体与背景分开）
  • 常用方法：将图像分成若干子区域分别选择阈值，或者动态地根据一定的邻域范围选择每点处的阈值

基于区域的图像分割方法

• 基本思想：以直接寻找区域为基础的分割技术
• 分类：
  • 区域生长：从单个像素出发，逐步合并以形成所需要的分割区域
  • 区域分裂：从全局出发，逐步切割至所需的分割区域

区域生长

• 步骤：是从一组代表不同生长区域的种子像素开始，将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，直到找不到符合条件的新像素为止
• 关键：选择合适的初始种子像素以及合理的生长准则（确定在生长过程中能将相邻像素包括进来的准则，指定让生长过程停止的条件或规则）
  • 相似性准则：灰度级、彩色、纹理、梯度等特性
• 特点：
  • 计算简单，对于较均匀的连通目标有较好的分割效果
  • 需要人为确定种子点，对噪声敏感，可能导致区域内有空洞
  • 是串行算法，当目标较大时，分割速度较慢

区域分裂

• 步骤：从整幅图像出发，不断的分裂得到各个子区域，再把前景区域合并，得到需要分割的前景目标
• 关键：分裂合并准则的设计
• 特点：
  • 对复杂图像分割效果好
  • 算法复杂，计算量大，分裂有可能破坏区域的边界
• 示例：四叉树分解法
  • 对于任一区域，如果H(Ri)=FALSE就将其分裂成不重叠的四等分
  • 对相邻的两个区域Ri和Rj，它们也可以大小不同（即不在同一层），如果条件H(RiURj)=TRUE满足，就将它们合并起来
  • 如果进一步的分裂或合并都不可能，则结束

分水岭算法

• 假设：把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭
• 基本思想：在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭
• 特点：对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化都有可能产生过度分割的现象，但是这也同时能够保证得到封闭连续边缘

换个角度：聚类

换个角度：标注

为图像中每个像素标记类别

目标分割 Object Segmentation

目标：精确描述目标的边缘/区域

交互式分割

思路：通过用户交互提供一定的目标和背景信息

Graph Cuts

YYBoykov, andM-P Jolly. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images. ICCV, 2001.

思路：将图像表示为图的形式，在基于图的表示上进行分割（将图像分割问题转换为关于图的问题）

步骤

1. 用户明确指出少量背景像素B和前景目标像素O
2. 构建包含S和T节点的图
3. 为所有的边赋予权重，其中t-links的权重代表着某个像素与前景/背景的相似度
4. 采用min-cut方法求解最小割，获得图像分割的结果

特点

• 整个设计只考虑了灰度图像，未考虑如何适用于彩色图像（为什么不适用于彩色图像？欧氏距离相近并不意味着感官上相似）
• 如果用户标注的部分和图像的其他部分的统计分布不一致时，会导致分割结果的错误
• 允许用户在错误区域重新标注，进行新的min-cut计算

GrabCut

CRother, V Kolmogorov, andABlake. “GrabCut”: interactive foreground extraction using iterated graph cuts. ACM TOG, 2004, 23(3):309-314.

对GraphCut的改进：支持彩色图像分割

1. 对RGB通道分别构建混合高斯模型GMM
   彩色图像的像素值稀疏问题比灰度图像要严重，需要采用信息压缩得更好的模型
2. 只需要框选目标进行初始化（框外像素全当成背景）
   GMM模型需要一定量的数据才能得出有意义的概率，框选可以得到大范围而且确定的背景区域
3. 采用不断进行分割估计和模型参数学习的交互迭代过程，完善分割效果
   前景的GMM参数中混杂了背景的信息，需要尽可能将背景去掉后再重算GMM参数
4. 支持用户交互来优化分割效果
   按颜色分布和边缘对比度来分割图像，对构成复杂的前景分割不好

为解决彩色图像的分割问题而选择混合高斯模型 -> 为构建混合高斯模型而选择框选目标的形式 -> 因为框选不够精确而选择不断迭代

换个思路：特殊的前景初始化

• 显著物体分割：采用显著性图来初始化前景
• 协同分割：利用不同图像中共同出现的物体来作为前景

抠图（Matting）

观察：像玻璃、头发这类前景，对应像素点的颜色不只是由前景的颜色决定，而是前景和背景颜色融合的结果

目的：找出前景和背景，以及它们之间的融合程度（也是前景和背景相分离的问题，可以看作是软分割）

Blue Screen Matting

Bayes Matting