夏至的个人博客

数字图像处理知识小结

发表于 更新于 分类于
本文字数： 14k 阅读时长 ≈ 12 分钟

前言

参考彭勤牧老师的课件和冈萨雷斯第三版课本整理

第二章：数字图像基础

数字图像基础

  1. 采样与量化：空间坐标的离散化定义为空间采样，幅度的离散化定义为幅度量化
  2. 空间分辨率：空间分辨率是图像中可辨别的最小细节的度量。也就是数字图像的采样分辨率
  3. 灰度分辨率：灰度分辨率是指在灰度级中可分辨的最小变化。也就是数字图像的量化分辨率
  4. 距离量度函数：

第三章：空间域图像增强

本章概述

  • 图像增强的目标是改善图像质量/改善视觉效果，其标准相当主观，因人而异，没有完全通用的标准，其是否好要看具体应用的结果来评价
  • 技术分类：根据其处理所涉及的空间不同，可分为图像域(空域)方法，变换域(频域)方法；根据其处理策略的不同可分为全局的方法(整图)，局部的方法(子图)；根据其处理对象不同可分为灰度图像(单性质)，彩色图像(多性质)

直接灰度变换

  1. 修改灰度：假设原图为\(f(x,y)\),改变后的图为\(g(x,y)\)。修改灰度是用一种变换关系曲线或查表来进行\(f(x,y),g(x,y)\)的灰度变换，以实现动态范围和对比度的改变，记为\(g=T(f)\),目的是找变换关系T
  2. 简单变换
    • 反转图：求反转图相当于在照相底片和印像之间变换，变换曲线是一条直线
    • 规范化：规范化是将原动态范围从\(f_{min}-f_{max}\)改变为0-255，也即进行线性变换，将动态范围扩大，公式如下\(g(x,y)=\frac{f(x,y)-f_{min}}{f_{max}-f_{min}}\times 255\)
    • 非线性调整动态范围(对数、指数):一般采用对数方式来压缩，\(g=clog(1+f)\),其中c为常数，使得g的范围为0-255
    • 灰度级分割(分段线性):对感兴趣的区域进行灰度增强，其他像素灰度不变或灰度取低值

直方图处理

  1. 直方图定义：直方图具体来说是表示的灰度统计直方图，其提供了图像象素的灰度值分布情况
  2. 直方图意义：
    • 反映出图象的灰度分布情况：低端分布的直方图，图象较暗，高端分布的直方图，图像太亮，直方图分布狭窄，图象的对比度不够，直方图的多个峰值，一般对应多类目标；
    • 指出图象增强处理的方向：直方图的均衡化：均匀分布的直方图，可扩大动态范围，增大图象对比度；直方图的规定化：符合特定分布的直方图，有目的的增强感兴趣目标
  3. 直方图均衡化：
    • 其目的是借助直方图变换实现(归一的)灰度映射
    • 均衡化(线性化)基本思想：变化原始图象的直方图为均匀分布--大动态范围；使象素灰度值的动态范围最大--增强图象的整体对比度(反差)
    • 变换方法：根据图象直方图得到累积直方图，通过累积直方图进行均匀化灰度重分配，根据确定的灰度变换关系，对全图进行灰度变换(L元素数量)
  4. 直方图规定化：
    • 借助直方图变换实现规定/特定的灰度映射
    • 处理方法：对原始直方图计算灰度累积直方图，对规定化直方图计算灰度累计直方图，通过累积直方图对应关系，得到灰度映射关系
  5. 直方图规定化与直方图均衡化的对比：
    • 直方图均衡化是一种自动增强，效果不易控制，总得到全图增强的结果，适合增强直方图成尖峰分布的图像
    • 直方图规定化则是一种有选择性的增强，需给定需要的直方图，可特定增强的效果

图像间运算

  1. 去除噪声-利用多幅图像相加,其假设是噪声在空间位置上互不相关
  2. 差异检测-利用多幅图像相减,其要求多幅图像之间位置准确对应
  3. 区域选择-利用多幅图像相乘,通过逻辑运算，制作感兴趣区域为1的掩膜图像

空域滤波增强

  1. 以平滑滤波为例，平滑的主要目标是去除噪声，其附加要求是保护图像信息的细节，对于保边缘的平滑滤波算法，主要有邻域平均和邻域中值
  2. 滤波器实现方法--邻域加权运算，可以用图像掩膜来对图象进行空间滤波，处理图象的高频低频和特殊频段分量，掩膜在这里是一个窗口，作为象素变换的模板，并表示了变换关系，其本身就是空间滤波器，掩膜的计算过程实际上就是数学上离散卷积的过程
  3. 空间滤波概述：主要用于处理图象中不同频率的分量，图象中的高频分量对应图中灰度急剧变化的区域，低频分量对应灰度变化平缓的区域，低通滤波器的作用是减弱噪声，使图更平滑，但同时降低了图象的清晰度。高通滤波器使得图象的边缘和细节更清晰，但噪声也随之被强化

平滑滤波器

原理：减弱或消除高频分量，保留低频分量，平滑处理往往用于图象分割之前，因为它可以去除噪声也可以填补图象边缘中的间隙，有利于从图象中找出目标

  1. 线性平滑滤波器：其系数都为正，中间系数大，周围系数小，保存灰度值范围(所以系数之和为1)
    • 带门限的邻域平均：思想是有噪声就进行邻域平均去噪，无噪声则不处理。如果被处理像素的灰度与邻域均值的差别不大，则可认为噪声不存在，反之则用邻域均值取代原像素灰度
    • 半邻域平均：思想是判断邻域中有无边缘，没有边缘可以不担心细节信息被平滑，被处理像素灰度采用全邻域均值，否则，根据邻域中的目标信息为被处理像素赋值
  2. 非线性平滑滤波器--统计排序滤波：邻点平均滤波有损于图的清晰度，中值滤波器可做到只去除噪声而不使原图清晰度变坏。其原理是将一个窗置于感兴趣点之上，把窗中所有邻点灰度值排序，变换后在该感兴趣点上的灰度值将由邻点排序后的中值代替

锐化滤波器

原理：减弱或消除低频分量，保留高频分量，又称高通滤波器，其把低通滤波器的概念用到高通中来，如果从图象中除去低频分量剩下的就是高频分量了

  1. 线性锐化滤波器：中心系数为正，周围系数为负，输出平均值为0，灰度变换到\([0,L-1]\)便于显示，最简单的锐化滤波模板
  2. 高频提升：如果把高通滤波的结果加到原图乘以一个系数后的图中去，其结果是原图中的低频信号没有完全除去，高频信号有了一定程度的增加。因而称为高频提升
  3. 非线性锐化滤波器：邻点平均的滤波效果使图象模糊。它是邻点灰度值相加的结果，可类比为积分，那么可以期待求邻点差分－微分将产生正好相反的效果。最常见的微分方法是求梯度，因而微商滤波器也经常就是梯度滤波器。
  4. 梯度运算模板：
  5. 几种典型的梯度算子：

第四章：频率域图像增强

基本概念

  • 频域增强是通过在频域的滤波处理来达到增强图象的目的；其把图象用FFT变化到频域，将结果乘一个滤波函数再变回到空域，就实现了频域滤波。低通滤波就是在频域中去掉了一些高频分量，高通滤波正好相反。在概念上来说在频域上设计滤波器比较直接了当，但由于要经过正反两次傅里叶变换，计算量较大，还是直接的空间滤波使用广泛
  • 空域滤波到频域滤波：空域的锐化、平滑模板处理，其实就是频域的高通、低通处理；空域的处理模板，映射到频域可以看到，它们并非都是无相移系统，将造成处理后图象，目标会有位置变化，而这种不利影响在频域处理中可以避免

低通滤波

  1. 基本概念：在频域中将高频分量除去或衰减就构成了低通滤波。设图像为\(F(u,v)\),变化后的图象为\(G(u,v)\)，则问题就是如何选择滤波器\(H(u,v)\)，使得变换后高频分量得以衰减。一般我们只考虑\(H(u,v)\)为实数的滤波器，它不影响变化前后的相位特性，称为0相位漂移滤波器。
  2. 滤波器分类：一般常讨论和使用的低通滤波器有理想低通滤波器，Butterworth低通滤波器--减少振铃效应，高低频率间过度比较平滑，Gaussian低通滤波器
  3. 振铃效应：振铃效应是指在图像的灰度剧烈变化处，如边缘附近，出现的不期望的震荡或波动。这种现象通常发生在图像的恢复或重建过程中，当使用理想低通滤波器或其他具有陡峭截止频率的滤波器时，由于滤波器的频率响应在截止频率处的不连续性，导致在图像的空间域中产生类似钟声的震荡波形

高通滤波

  1. 基本概念：高通滤波是想保留图象中灰度急剧变化的部分，一般只讨论零相移高通滤波器，常用的滤波器有理想/Butterworth/Gaussian高通滤波器

带通带阻滤波

  1. 基本概念：和之前学习的课程的知识并无区别，不详细介绍

同态滤波

  1. 基本概念：同态滤波是在频域中同时压缩动态范围并增强局部对比度，来实现图像增强的方法
  2. 设计思想：先进行对数运算，然后再进行线性运算，最后以指数运算结束，称之为乘法同态系统，用这类系统进行滤波加同态滤波。其中取对数的目的是使信号满足线性系统的要求，取指数使其变回来。

局部增强

  1. 基本概念：实际应用中常常需要对图象某些局部区域的细节进行增强，局部增强方法比全局增强方法在具体进行增强操作前多了一个选择/确定局部区域的步骤

第五章：图象复原

概述与技术分类

  1. 概述：图象复原是图象处理中的一大类技术，其与图象增强相比，相同之处在于用于改进输入图象的视觉质量，不同之处在于图象增强借助人的视觉系统特性，以取得较好的视觉结果(不考虑退化原因)，图象恢复根据相应的退化模型和知识重建或恢复原始的图象(考虑退化原因)
  2. 技术分类：技术分为单纯噪声引起的退化恢复和失真的成像系统引起的退化恢复(无约束和有约束)，策略分为自动和交互，处理所在域分为频域和空域，从广义的角度上来看有可以分为几何失真(退化)校正(恢复)，投影(退化)重建(恢复)

退化模型

  1. 几种典型的退化形式
    • 光学系统孔径衍射造成的退化
    • 目标运动造成的退化
    • 成像过程的非线性造成的退化
    • 噪声引入造成的退化
  2. 退化的数学描述：退化过程采用系统函数H表示，还叠加有统计特性已知的加性噪声\(n(x,y)\),退化模型数学表述为\(g(x,y)=H[f(x,y)]+n(x,y)\),恢复图象则是在给定\(g(x,y)\)和代表退化的H的基础上得到的对\(f(x,y)\)的某个近似
  3. 退化模型：
    • 空域模型：\(g(x,y)=H[f(x,y)]+n(x,y)=f(x,y)*h(x,y)+n(x,y)\)
    • 频域模型：\(G(u,v)=H(u,v)F(u,v)+N(u,v)\)

图像恢复的噪声问题

  1. 噪声的种类可分为：高斯噪声，均匀噪声，椒盐噪声，周期性噪声等
  2. 噪声参数的估计一般是选取图像中被噪声影响的均匀区域，由直方图估计噪声类型，计算区域S的统计参数，然后根据噪声类型计算噪声参数

空域滤波去噪

  1. 均值滤波：
    • 算术均值：简单平滑局部变化，达到去噪效果
    • 几何均值：滤波效果类似算术均值，更少丢失图像细节
    • 谐波均值：善于处理高斯噪声，适合处理"盐噪声"，不适合处理"胡椒"噪声
    • 逆谐波均值：Q为滤波器阶数，为正适合处理"胡椒噪声"，为负适合处理"盐噪声"，为0等同算术均值滤波，为-1等同谐波均值滤波器
  2. 统计排序滤波(中值滤波)
    • 中值滤波
    • 最大最小值滤波器：最大值滤波适合处理盐噪声，最小值滤波适合处理胡椒噪声
    • 中点滤波器：综合统计排序和求平均的优势，适合高斯，均匀分布噪声的处理
    • 修正后阿尔法均值滤波器：适合多种情况下的滤波
  3. 自适应滤波：主要分为自适应局部噪声消除和自适应中值滤波器

频域滤波消除周期噪声

  1. 带(阻)通滤波：对位于一定频带内的噪声进行滤除
  2. 陷波滤波：阻止(通过)对事先定义的中心频率邻域的信息

图像恢复的频域滤波方法

  1. 频域滤波思想：失真的现象可以通过传输函数H数学表示为\(F(u,v)=\frac{G(u,v)}{H(u,v)}-\frac{N(u,v)}{H(u,v)}\),不考虑噪声影响则是\(F(u,v)=\frac{G(u,v)}{H(u,v)}\),恢复失真的图像，可以经过频域滤波实现，也就是频域除以传输函数H可得，这就是简单逆滤波
  2. 简单逆滤波：滤波器数学表达：\(M(u,v)=1/H(u,v)\)，在此基础上有两种改进，一个是避免噪声的影响， 除去H(u,v)为0的点，另一个是为了减少振铃效应，避免传输函数低值影响
  3. 退化和滤波的综合模型
  4. 有约束滤波-维纳滤波(最小均方滤波)：维纳滤波是一种在恢复过程中考虑噪声影响的最经典的滤波恢复方式之一，有约束滤波，其复原过程如下，首先计算退化图像\(g(x,y)\)的二维Fourier变换\(G(u,v)\)，然后再计算点扩展函数\(h(x,y)\)的二维Fourier变换\(H(u,v)\),计算退化图像和噪声的功率谱\(S_f(u,v),S_n(u,v)\)，然后在计算滤波器\(H_w(u,v)\)，最后计算理想图像的频谱估计\(\hat{F}(u,v)=H_w(u,v)G(u,v)\)后求反Fourier变换
  5. 系统传输函数的估计：图像恢复公式中都用到了公式\(g=hf或g=hf+n\),或者它们相应的频域表示，求解这些方程的必要条件是点源传输函数或其频域表示已知，当不知道点源传输函数\(h(x,y)\)时，由模糊图\(g(x,y)\)估计清楚图\(f(x,y)\)的问题就叫盲反卷积问题。估计方法可分为图像观察和试验估计，模型估计三类

交互式恢复

  1. 方法概述：人机结合控制恢复过程以达到一些特殊的效果
  2. 工作流程：依靠视觉观察在频率域确定出脉冲分量的位置并在该位置利用带阻滤波器消除，在频率域里对应每个亮点的位置放一个带通滤波器\(H(u,v)\)，得到干扰模式的傅里叶变换后进行反变换，从退化图像减去干扰图像，也能达到恢复的目的

几何失真的校正

  1. 概述：主要用在对几何畸变的校正和图像的匹配上，处理步骤是先进行空间变换，即对图像坐标位置进行校正，然后灰度插值，即对象素灰度级进行估算。
  2. 空间变换：
    • 模型：图像\(f(x,y)\)受几何形变的影响变成失真图像\(g(x',y')\)
    • 模型的系数确定：采用约束对应点方法(控制点方法)，在输入图(失真图)和输出图(校正图)上找一些其位置确切知道的点，然后利用这些点建立两幅图间其他象素空间位置的对应关系
  3. 灰度插值：
    • 定义：坐标变换后的结果不是整数，不在数字图像的像素位置上，需要用整数处的象素值来计算在非整数处的象素值，这就是灰度插值
    • 变换的策略：从校正后图像的坐标空间反变换到退化图像的坐标空间，非整数位置处的图像灰度，通过周边相邻像素的灰度值计算而得。
    • 最近邻插值：也称为零阶插值，将离\((x',y')\)点最近的象素的灰度值作为\((x',y')\)点的灰度值赋给原图\((x,y)\)处象素
    • 双线性插值：利用\((x',y')\)点的四个最近邻象素A,B,C,D,灰度值分别为\(g(A),g(B),g(C),g(D)\),得到\(g(E)=(x'-i)[g(B)-g(A)]+g(A),g(F)=(x'-i)[g(D)-g(C)]+g(C)\),最后可得\(g(x',y')=(y'-j)[g(F)-g(E)]+g(E)\)
  4. 应用情况：遥感图像的校正，目标的匹配

图象的投影重建

  1. 概念：二维图像在某方向上的一维投影，可以反映二维图象的部分信息，多方向的一维投影数据，可以重建二维图像
  2. 分类：投射断层成像，发射断层成像，反射断层成像，其他断层成像，傅里叶反变换重建图像
  3. 投影定理：\(f(x,y)\)以\(\theta\)角进行投影的傅立叶变换等于\(f(x,y)\)的傅里叶变换在傅立叶空间\((R ,\theta)\)处的值
  4. 傅里叶反变换进行投影重建的步骤：对以角\(\theta_n(n=1,2,...,N)\)的投影进行1D傅里叶变换，在傅里叶空间从极坐标向直角坐标插值，进行2D傅里叶反变换得到重建图像。

第六章：彩色图象处理

彩色基础

  1. 彩色图像处理可分为两个主要领域：全彩色处理(图像用全彩色传感器获取),伪彩色处理(对特定的单一亮度或亮度范围赋予一种颜色)

彩色模型

  1. RGB模型-彩色立方体：基于笛卡尔坐标系统，RGB为三个分量，是一个物理可实现的彩色模型
  2. CMY模型：颜色的三原色CMY(青、品红、黄),对应的是白光中减去RGB(红、绿、蓝),RGB模型与CMY之间的转换\[\begin{bmatrix} C \\ M \\ Y \end{bmatrix}=\begin{bmatrix} 1\\ 1\\ 1 \end{bmatrix}-\begin{bmatrix} R\\ G\\ B \end{bmatrix}\]
  3. HSI模型：就人眼的感觉来说，色彩感受可分为色调：反映颜色的类别；色饱和度：反映颜色的纯度；亮度：彩色光的强度；色调和色饱和度合称为色度表示颜色的类别和深浅；色环可采用极坐标方式表示色度，色调H对应\(\theta\),色饱和度对应p
  4. HSI与RGB之间的转换
    • RGB到HSI:\[H=\begin{cases} \theta \qquad G\ge B\\ 2\pi-\theta\qquad G<B \end{cases}\\I=\frac{1}{3}(R+G+B)\\S=1-\frac{3min(R,G,B)}{R+G+B}\\\theta=cos^{-1}[\frac{\frac{1}{2}[(R-G)+(R-B)]}{\sqrt{(R-G)^2+(R-B)(G-B)}}]\]
    • HSI到RGB:\[0°\le H\le 120° \begin{cases} B=I(1-S)\\ R=I[1+\frac{Scos(H)}{cos(60°-H)}]\\ G=3I-(R+B)\\ \end{cases}\\120°\le H\le 240° \begin{cases} H=H-120°\\ R=I(1-S)\\ G=I[1+\frac{Scos(H)}{cos(60°-H)}]\\ B=3I-(R+G)\\ \end{cases}\\240°\le H\le 360° \begin{cases} H=H-240°\\ G=I(1-S)\\ B=I[1+\frac{Scos(H)}{cos(60°-H)}]\\ R=3I-(G+B)\\ \end{cases}\]
  5. HSI模型更适合对彩色的描述，因为其色彩的变换只在一个分量中确定，另外，其适合满足视觉效果的处理，这样人眼对彩色和亮度的空间分辨率差异可以得到利用
  6. XYZ色度图：其相较于RGB的优点是系数没有负数，Y可以确定彩色光的亮度，彩色光的色度也可以有XYZ比值确定，X=Y=Z对应R=G=B，代表等能白光

彩色增强

  1. 原理：人眼对颜色的区分能力比对灰度的区分能力要强很多，彩色增强的方法包括伪彩色增强和真彩色增强
  2. 伪彩色增强：
    • 特点是对原来灰度图像中不同灰度值区域赋予不同的颜色用以更明显的区分它们，典型方法有亮度切割，利用变换函数和频域滤波
  3. 真彩色增强:
    • 对彩色分量进行增强，首先将RGB分量图转化为HSI分量图，然后利用对灰度图增强的方法增强其中某个分量图，再将结果转换为RGB分量图
    • 对S分量增强时，增强饱和度能使彩色更浓，反差增加，边缘清晰；减小饱和度能使部分区域变为灰色，整体比较平淡；增强H分量当色调加减小常数时，图像会变暖或变冷，加减大常数时对图象感受发生比较激烈的变化

彩色变换应用

  1. 补色的概念：彩色环上面的对立色互为补色，补色能突出感兴趣的目标
  2. 直方图处理：彩色图象的直方图处理一般不针对RGB模型，因为可能产生不可控制的色调变化，一般在HSI模型下进行处理，其处理亮度分量，然后根据需要处理饱和度分量。

插值与外推

  1. 基本概念：两幅图象之间的插值或外推提供了一种简单易行的图象增强手段。它在增强亮度、对比度、饱和度，改变色彩，尖锐化等方面均有重要应用。插值：两个图像之间的线性过渡；外推：保持线性关系，跨越两个图像本身的线性外推，得到图像属性的针对性变化。
  2. 插值公式：\(out=(1-a)V_1+aV_2\)，其中\(V_1,V_2\)分别为两图或图像中对应点的灰度值，out为插值结果，当a在0-1范围内时为一般意义的插值，否则为外推
  3. 插值改变亮度：以全黑的图和适中的图来运算。插值时图变黑，外推时图变亮。运算时较亮的象素受影响较大。
  4. 插值改变对比度：可用常值(例如平均灰度)图来控制对比度。插值时对比度降低，外推时增高。负值时变成反转图。离常值越远的值改变越大。
  5. 尖锐化：如果以一幅模糊图(原图经过低通滤波或平均)为参考图和原图内插就会减少高频分量，外推就会使图象尖锐。
  6. 插值改变饱和度：可用灰图作参考图来调节色彩的饱和度。插值降低饱和度，外推使其升高。 a< 0 则保留照度而改变色调。用这种方法可以避免向HSV空间变来变去和复杂的计算。

彩色图象处理的应用

  1. 去红眼：首先确定眼部区域，对眼部区域的每一象素从RGB模型转换到HSI模型，然后将满足公式的象素饱和度s置为0，变成灰色，重复执行，直到处理完眼部区域所有象素
  2. 肤色检测：根据肤色模型，将一幅彩色图像转变为灰度图像，像素的灰度值对应于该点属于皮肤区域的概率；选取合适的阈值，将灰度图像转换为二值图像，其中0、 1分别表示非皮肤区域和皮肤区域；以该二值图像作模板，在原图像中检测肤色区域。

第七章：小波变换和多分辨处理

多分辨率概念

  1. 多分辨率意义：目标具有特定的形状，形状具有不同的大小，大目标可以在低分辨率下观察，小目标需要在高分辨率下观察，具有多分辨率的识别系统才能最有效的识别目标，人眼视觉对目标的感知也具有多分辨率能力
  2. 图像金字塔：逐级建立近似图像，不同级别图像可识别不同尺寸目标
  3. 子带编码：金字塔分解的两个方面：近似和残差，信息在频域上与此对应的两个部分：低频和高频
  4. 图像的二维子分解：是水平、垂直可分离的分解，首先沿垂直方向逐行分解，然后在水平方向逐列分解，生成了四个分量，近似值，垂直细节分量，水平细节分量，对角细节分量。

小波变换概念

  1. 小波概念：有限间隔内且平均值为0的一种函数，相对于正弦波而言，称其为"小波",
  2. 小波变换：主要包括连续变换，离散变换，离散小波变换和子带编码，小波分解树，小波重构

小波变换的应用

  1. 小波变换在图像处理中的应用
  2. 边界提取：
    • 处理原理:边界属于细节信息，对变换以后的数据，丢弃近似数据，保留细节数据，可以达到提取边界的目的
    • 算法推广：若只保留某一方向的细节数据，则可以提取方向性边界
  3. 图像去噪：
    • 处理原理:噪声具有细节特征，存在于变换后的细节分量中，选择合适的尺度的细节分量进行门限化处理，可以达到去噪目的
  4. 图像编码：
    • 处理原理：小波变换后，大量数据反映细节内容，舍弃一定的细节信息不影响反变换的观察效果，细节信息数据动态范围小，适合采用短码字的量化压缩
  5. 图像融合：
    • 处理原理：同一目标，不同方式获得的图像，可反映多维度信息，融合处理能在一幅图像上反映更丰富的信息，融合的步骤一般包括预处理，去除噪声；配准，位置校正；在变换域进行信息取舍，反变换得到融合结果。

第八章：图象压缩

引言

  1. 编码的动机：数字图象数据量很大，需要缩减数据量，便于保存和交流
  2. 图象编码定义为采用对图象的新的表达方法以减小所需的数据量
  3. 图象编码整个过程包括：图象压缩(编码)和图象解压缩(解码)，整个方法可分为无损压缩和有损压缩

编码基本概念和理论基础

  1. 数据冗余的概念：冗余有两方面，数据表达了无用的信息或数据表达了已表达的信息；相对数据冗余：\(n_1,n_2\)代表表达同一信息，2个数据集合中各自信息载体的个数，\(n_1\)相对\(n_2\)数据冗余的定量描述：\(R_D=(n_1-n_2)/n_1=1-1/C_R\)
  2. 数据冗余的类别：
    • 编码冗余：与灰度分布概率特性有关
    • 象素相关冗余：空间冗余，时间冗余，几何冗余
    • 心理视觉冗余：与主观感觉有关
  3. 图象保真度和质量：有损压缩造成的损失的独立方式可分为主观保真度准则和客观保真度准则，客观保真度准则用编码输入图和解码输出图的某个确定函数来表示损失的信息量，便于计算或测量
  4. 图像编码模型

简单编码方法

  1. 变长编码：采用自然码会产生编码冗余，解决的方法是用短码表示出现多的灰度级，长码表示出现少的灰度级
  2. 哈夫曼编码：
    • 其基本步骤是将符号按照概率大小排列，对概率最小两符号合并，计算合并后新符号概率并排序，重复直到剩余符号不多于两个，然后对各信源符号逆向赋值
    • 其变形有截断哈夫曼码和平移哈夫曼码，截断哈夫曼码支队最可能出现的M个符号进行哈夫曼编码，其他符号用合适的定长编码加前缀进行综合编码，平移哈夫曼码则将符号总数分成相同大小的符号块，所有块中各个元素采用同样方法编码，每个块再加上专门的平移符号进行区分。
    • 特点：非等长码，解码唯一，所有码字不是前缀码，且都在编码树叶节点，但抗干扰能力不强
  3. 算术编码：
    • 简介：从整个符号序列出发进行编码，不是对每个符号的编码，没有源符号和码字的一一对应关系，其需要每个符号的出现概率和整个符号的排列顺序，编码过程按照符号序列顺序递推进行，随符号序列中符号数量增加，其是对符号串整体的编码，理论上可以达到无失真编码定理给出的编码极限。
    • 编码过程示例：,简要总结，就是第一个符号将概率区间缩减到其符号概率区间，后面的符号一个个依次缩小符号区间
    • 解码过程示例：其实就是编码过程的逆过程 一个个判断范围就好
    • 编码结果分析：只用到加法和移位运算，源符号和码字的一一关系并不存在，从整个符号序列出发采用递推方式连续编码
  4. LZW编码：用于消除图像中像素间冗余，是Unix操作系统文件压缩标准方法，特点是码字长度固定，无需信源信号出现概率，采用字典编码定义符号出现顺序
  5. 位平面编码：将多灰度指图像分解为一系列二值图像，然后对每一幅二值图像进行二元压缩，既能够减少编码冗余还能减少像素间冗余
  6. 编码评价：
    • 编码的平均长度=概率*长度之和
    • 信元的熵：按定义正常求即可
    • 编码效率=\(\eta=\frac{H(u)}{L_{avg}}\)

预测编码方法

  1. 思路：图像信息存在像素间冗余，像素间相关性使得预测成为可能，根据预测过程是否造成信息丢失可分为无损/有损预测编码

变换编码方法

  1. 概念：基于空间冗余压缩思想的方法，编码过程综合使用其他信息冗余压缩方法，需要解决变换的选择，基于运算效率和数据相关性考虑的子图选择，变换域中有用信息的选取原则，信息的量化编码

第九章：形态学图像处理

形态学理论基础

  1. 基本概念：用具有一定形态的结构元素去量度和提取图像中的对应形状，达到对图像分析和识别的目的
    • 数学基础是集合论
    • 基本运算包括膨胀，腐蚀、开启、闭合、击中、击不中
    • 处理对象主要是二值图像和灰度图像
    • 位移：A用\(b=(b_1,b_2)\)位移，记为\((A)_z={y|y=a+b,a\in A}\)
    • 映像：A的映像记为\(\hat{A}={w|w=-a,a\in A}\)

膨胀与腐蚀

二值形态学的运算对象是集合，设A为图像集合，B是结构元素，数学形态学运算是用B对A进行操作，二值形态学中最基本的两个运算就是腐蚀和膨胀

膨胀

  1. 定义：A用结构元素B进行膨胀运算为$AB={x|[()_xA]} orAB={x|[()_xA]A} $
  2. 理解：可以理解为将B这个结构元素的原点在整个图像上平移 如果B有与A的交集，那么当前B的所有区域位置的元素都置为1

腐蚀

腐蚀的应用主要在去除图像中不需要部分(噪声，毛刺) 2. 理解：可以理解为将B这个结构元素的原点在整个图像上平移 如果B所有点都在A内，那么当前B的原点对应位置保留

灰度形态学的膨胀与腐蚀

  1. 膨胀：类似卷积的一种操作，用P加上B，然后取这个区域中的最大值赋值给结构元素B的原点所对应的位置。
  2. 腐蚀：类似卷积的一种操作，用P减去结构元素B形成的小矩形，取其中最小值赋到对应原点的位置即可。

开操作和闭操作

  1. 思路：腐蚀使目标变小，膨胀使目标变大，那么腐蚀后再膨胀就能去掉毛刺，恢复目标尺寸，先膨胀再腐蚀就能填充空洞，恢复目标尺寸
  2. 开操作就定义为采用结构元素B对A先腐蚀再膨胀，通过去除细小突出物，断开狭窄的间断来平滑目标
  3. 闭操作定义为采用结构元素B对A先膨胀再腐蚀，通过填充小孔洞，消弥狭窄简短和细长鸿沟来平滑目标
  4. 几何解释：
    • 开操作：结构元素沿目标的内边界滚动，B中的点所能达到的A的边界的最近点
    • 闭操作：结构元素沿目标的外边界滚动，B中的点所能达到的A的边界的最近点

击中或击不中变换

击中/击不中变换主要用于判断、检测物体内部的成分以确定图像的结构

  1. 思路：对于多个目标构成的图像，以某一目标为结构元素进行腐蚀操作，能保留比该目标大的对象
  2. 定义：检测对象为X，X包围在小窗口W中，(W-X)为背景，图像A经X腐蚀，可以检测比X大的目标，图像A的补集经(W-X)腐蚀，能检测比(W-X)小的目标，综合就可以检测目标X

一些形态学算法

边界提取

集合A的边界表示为\(\beta(A)\),可通过以下运算得到\(\beta(A)=A-(A\circleddash B)\),其中B为一个适当的结构元素

区域填充

TOP-hat变换

应用于灰度图像，实际上就是原图与开运算结果图之差，常用来分离比临近点亮一些的斑块。

第十章：图像分割

图像分割概述

  1. 目的：区分图像中的前景(感兴趣的目标)和背景，在图像中将不同区域分离出来，提取目标，分割的依据就是图像的区域特性:灰度、颜色、纹理等
  2. 定义：
  3. 分类：

并行边界技术

  1. 主要内容：边缘检测，微分算子，边缘连续性，边缘检测的变换检测法
  2. 边缘检测：
    • 边缘：(相邻象素)灰度值不连续的结果可利用计算导数方法进行检测，边缘常出现在一阶导数具有较大值的位置，要检测边缘，就需要采用对图像的微分运算，引入微分算子
  3. 微分算子：
    • 梯度算子：常被用于进行图像的锐化处理，主要有以下几种
    • 拉普拉斯算子：二阶导数算子，特点是中心为正，临近为负，模板和为0，对噪声敏感，产生双象素宽边缘，没有方向信息，常用于在边缘已知情况下，确定象素在明区或暗区
    • 马尔(Marr)算子(LoG算子)：根据人眼成像机理产生，具有去噪和检测边界作用，其算法为首先用2D高斯平滑模板与图像卷积，然后计算卷积后的拉普拉斯结果，检测结果图中的过零点作为边界
    • Canny边缘检测：和Log类似，也属于先平滑后求导数，其步骤是先对原始图像进行灰度化，然后高斯滤波，再用一阶偏导的有限差分来计算梯度的幅值和方向，再对梯度幅值进行非极大值抑制，最后用双阈值算法检测和连接边缘
  4. 边界闭合：
    • 原因：有噪声时：边缘象素常孤立或分小段连续，在同一目标，边界应该是封闭的，需要进行边缘象素连接
  5. 边界细化：
    • 思路：理想边界只有一个象素宽度，实际中边界很宽，需在边界垂直方向判断最近边界点，去除其他点，最佳点应该具有最大梯度
    • 算法思路主要有采用模板进行非最大梯度消除和插值方法
  6. Hough变换检测法：主要是将图像空间中直线检测问题转换到参数空间中，通过在参数空间进行简单的累加统计完成检测任务

串行边界技术

  1. 目标：并行处理受噪声影响效果变差，串行方法将检测边缘和连接边缘结合起来完成
  2. 图搜索方法：边界点和边界段采用图结构表示，选定一边界段定理描述代价，组成完成边界的边界段集合计算总代价，最小代价的边界段集合就是结果

并行区域技术

  1. 原理与分类
    • 区域分割：不同区域有不同的灰度特征，根据灰度特征进行区域划分，最简单的是灰度阈值法，也被叫做二值化分割方法，其根据灰度阈值将区域划分为灰度极大值和极小值
    • 取阈值分割步骤:确定阈值，根据阈值对象素进行分类
    • 阈值分割方法分类：全局/局部/动态阈值方法
  2. 依赖象素的阈值选择
    • 最小值点阈值：将直方图包络看为一条曲线，求曲线极小值
    • 最优阈值：主要是最小误差阈值
  3. 依赖区域的阈值选择：主要根据直方图来选择，低梯度象素直方图没有边界象素干扰，只有目标背景两个区域，高梯度象素直方图只有边界像素，峰就是边界所在
  4. 依赖坐标的阈值选取：主要使用与坐标相关的一系列阈值对图像分割，基本思路是把图像分解为一系列子图像，然后对每个子图像计算一个阈值，对这些子图像阈值插值，用插值结果分割
  5. ostu法：大津法（OTSU）是图像分割中阈值选取的最佳算法，它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。优点为计算简单快速，不受图像亮度对比度影响，缺点是对图像噪声敏感，只能针对单一目标分割，当目标和背景大小比例悬殊时效果不好。

串行区域技术

  1. 特点：从区域着手顺序进行分析，当前处理借助早期结果，优点是抗噪声抗干扰，缺点是复杂耗时，主要技术包括区域生长和分裂合并
  2. 区域生长：
    • 思路：将相似象素结合起来构成区域
    • 基本步骤：选择区域的种子象素，确定将相邻象素包括进来的准则，制定生长停止的规则
  3. 分裂合并：
    • 思路：首先将图像分割为初始区域，然后分类合并这些区域直到获得均匀区域为止
    • 基本步骤：初始分割，计算区域方差，将方差大的区域继续划分，方差小的区域和邻域比较考虑合并

基于形态学分水岭的分割

  1. 基本概念：用地形学理解图像中目标，汇水盆地类比目标(均匀低灰度区)，分水岭类比分割线(突变的高灰度区)
  2. 操作步骤：彩色图像灰度化，然后再求梯度图，最后在梯度图的基础上进行分水岭 算法，求得分段图像的边缘线
  3. 思想：在梯度图像上分析，梯度值低的位置为中心，逐步向周边高梯度位置扩散，遇到多区域交汇的位置就形成分割边界
  4. 问题：对噪声敏感，易过分割，太多分割区域导致结果没使用价值
  5. 解决方法：对梯度图像先滤波，应用标记方法

第十一章：表示和描述

边界的表达

  1. 边界的链码：
    • 本质：是对轮廓点的一种编码
    • 特点：由一系列直线段构成，边界走向和采用的连接表达方式有关--4-连接，8-连接
    • 表达方法：编码顺序采用顺时针方向，起点采用(绝对)坐标表示，其余点采用接续方向代表，
    • 示例：
  2. 链码归一化：原因是不进行归一化，同一个目标因为起点不同，链码不同，对目标表达一致性受到影响，归一化手段：链码看作一个循环序列，依次取各个边界作为起点，从所有链码中选取构成自然数值最小的码，作为归一化结果
  3. 差分码：采用一阶差分表示，注意第一个差分码是相对于最后一个码的差分，结果都按方向数取模，其可以保证不随轮廓的选择而变化

区域的表达

  1. 空间占有数组：就是目标的二值化表达，属于区域象素为1，否则为0
  2. 四叉树表达：采用四叉树对空间占有数组有效编码，背景为白节点，目标黑节点，混合灰节点
  3. 骨架：对于区域中的点在区域中有多于一个的最短距离，该点就是骨架点

边界的描述

  1. 形状数：基于链码的一种边界形状表达，为链码差分码中取值最小的序列

区域的描述

  1. 拓扑描述：可以描述区域全局情况，不受畸变影响，描述参数：欧拉数E=区域内连通组元C-区域孔数H