一种基于相位相关法及数学形态学方法的眼底血管图像自动拼接方法*
作者：许 雷1 张恒义1 虞亚军1 郑筱祥1 俞 锋2 姜节凯2
单位：1(浙江大学 生命科学与医学工程学系，杭州 310027)；2(浙江医科大学 第二附属医院)
关键词：眼底图像；数学形态学；相位相关法；自动拼接
生物医学工程学杂志980318 内容摘要 眼底图像的快速自动拼接是眼底血管图像定量分析的必要前提。首先运用数学形态学的‘开’运算从原始图像中分离出灰度分布高度不均的背景图像。经图像增强，采用相位相关法求出图像间的平移量。结果表明：本文方法具有错配率低、速度快、拼接处光滑过渡并能同时增强血管对比度的优点。
A Robust Method for Automated Retinal Vascular
, http://www.100md.com
Images Mosaic Based on Phase Correlation
Method and Mathematical Morphology
Xu Lei1 Zhang Hengyi1 Yu Yajun1 Zheng Xiaoxiang1 Yu Feng2 Jiang Jiekai2
1(Dept of Life Science and Biomedical Engineering, Zhejiang University,Hangzhou 310027)
2(The Second Branch Hospital of Zhejiang Medical University)
, 百拇医药
Abstract Precise mosaic techniques are essential for quantitative evaluation of retinal images to make early detection of fundus anomalies feasible. Opening of a gray-scale image by a gray-scale structuring element(SE) can generate a background image. Image mosaic was achieved by subtraction this background image from the original image and then applying a phase correlation method to find translation difference. Because of the accuracy characteristics of the phase correlation method and the speed of the FFT hardware, this new algorithm can work very fast and accurately, compared to conventional techniques. The method was also characterized by an outstanding robustness against correlated noise and disturbances, such as those encountered with nonuniform illumination. The results confirm the robustness of the chosen approach.
, 百拇医药
Key words Retinal images Mathematical morphology Phase correlation method Image mosaic
1 引 言
心脑血管疾病是目前我国老年人口致残和死亡的主要原因。通过对眼底血管形态与结构细微改变的定量分析，结合作眼底荧光血管造影，对高血压、脑血管硬化等心脑血管疾病的病程、严重程度及预后状况进行非创伤性地计算机辅助诊断具有十分重要的临床及科研意义[1]。但在眼底图像获取时，受眼底照相机放大倍数及视野的限制(放大倍数越大，视野越小)，在保证一定图像分辨率的情况下，往往只能获得眼底的局部图像。而眼底图像的临床分析却需要对整个眼底或大部分(高血压性眼底图像的分析主要集中在中央、颞上、颞下、鼻上、鼻下五个区域)进行分析处理，这就使得眼底图像的拼接成为一项经常性的繁重工作。计算机的广泛应用为图像拼接提供了良好的硬件基础，同时也对快速、自动的图像拼接算法提出了迫切要求。
, 百拇医药
有关图像拼接或配准(拼接与配准的差别在于拼接图像间的重叠量小于配准图像间的重叠量)已有不少文献报道。比如Phillips[2]等采用人机交互方式，对糖尿病性黄斑区病变病人的荧光眼底图像序列进行了手动配准。此法虽具有严重错配概率低的优点，但配准精度低、可重复性差且费时又费力。自动配准法则可分为基于局部特征信息(血管的边沿、分叉点及交叉点)[3，4]的配准法及全局相关配准法[5]。基于局部特征的配准法虽具有配准精度高，速度快(比如SSDA算法)的优点，但在特征自动选取(眼底图像特征地可靠提取需复杂、耗时的前处理，甚至高于求相关所需的时间，比如对512×512图像，采用高斯匹配滤波法提取血管需15 min)、特征之间对应关系的确定及匹配搜索范围限定上无通用的优化规则(对眼底图像而言，基于塔式分解，先粗后细的搜索算法存在着粗匹配时极易错配的缺点)。由于眼底图像生理上的复杂性及信噪比较低，采用基于局部特征方法的错配率远大于全局方法[6]。加之目前能作实时FFT的硬件日趋完善(256×256图像进行FFT时，只需22 ms)，全局方法更具优越性。本文提出一种基于数学形态方法及相位相关法(属于全局方法)的图像拼接方法，概括为四个步骤。1图像采集；2.图像前处理(噪声滤除，背景去除及图像增强)；3.基于相位相关法的图像拼接；4.边界处理。
, 百拇医药
2 材料与方法
2.1 实验对象
以浙江医科大学第二附属医院门诊患者的眼底图像作为实验图像，并以Scheie氏分类法诊断动脉硬化(Ⅱ°17例，Ⅰ°14例，无高血压史且眼底像清晰患者51例)。
2.2 仪器
(1)眼底照相机型号为：Nicon-505c。(2)激光扫描仪：Uniscan 4C。(3)摄像头：GV1550。(4)多媒体视频采集卡：Grand Video。(5)录像机：JVC。(6)计算机眼底血管图像处理系统：浙大生医系定量与系统生理实验室。
2.3 图像采集
将上述观察对象用5%托品酰胺对右眼进行充分散瞳，瞳孔直径达7 mm以上时进行眼底摄影(柯达彩卷)。以视神经乳头及视网膜血管的鼻上、鼻下、颞上、颞下分枝血管的二级分枝处为中心拍摄(视角30°)五张照片，其中视神经乳头图像用作图像拼接的基准(即以视神经乳头区域作为五幅图像的重叠区域且求相关区域的大小取为256×256或512×512，以便FFT实现。有关视神经乳头区域位置的自动定位，可参见文献[10])。使用激光扫描仪将眼底照片数字化后(WINDOWS DIB格式)进行计算机图像自动拼接。
, 百拇医药
2.4 图像前处理
对数字化后的眼底图像进行平滑滤波(高斯滤波，中值滤波等)，消除噪声以提高拼接精度。为克服背景不均对拼接的影响，可选用两种算法(即Laplacian算子边沿提取算法及基于数学形态学滚动球算法的背景去除算法[8])处理后的图像作为匹配原型。
2.5 基于Phase correlation法的图像拼接(如图1a～1f所示)
设g(x,y)＝f(x-x0,y-y0)，其中x0，y0为连续图像g相对于图像f的平移量。则图像g的Fourier变换为：
G(u,ν)=F(u,ν)e-j2π(ux0+νy0)。对相位函数
，并在Fourier反变换后的图像内寻找极大值所在位置的坐标值即可求出平移量x0及y0。一般地，采用互相关函数法(式F-1(G(u,ν)F*(u,ν))计算时所得到的相关曲线往往较平坦(图像中的直流分量、像素间的空间相关性等因素引起)，且噪声可能掩盖相关峰值。因此本文不采用对GF*，而是采用对
求快速Fourier反变换，则可以在基本不增加计算量的前提下克服上述缺点(即：IFFT
；对仅有平移，无光照不均的两幅理想图像有：
为复数的相位。但对实际的离散图像，
。其理由是：相位相关法可看作是经“白化”前处理后的相关函数法，因此具有受背景信号影响小，并能加强图像轮廓信号(血管)对拼接精度影响的优点。为克服眼底照相机圆形视野带来的边界效应，还需对眼底图像进行预加权(高斯形权值，中央为1，周边为0.1)。图1f为一经平移套准后的拼接图像。因输入图像是实数序列，可用一个复数据的FFT来代替两个实数据的FFT，以加快运算速度。设
, http://www.100md.com
图1a 图像f(x,y) 图1b 对图像f(x,y)求快速付里叶变换 图1c 对图像(GF*/｜GF*｜)求快速付里叶反变换
Fig 1a Image:f(x,y)Fig 1b FFT(f(x,y))Fig 1c IFFT (GF*/｜GF*｜)
Fig 1d 图像g(x,y)图1e 对图像g(x,y)求快速付里叶变换图1f 图像拼接
Fig 1d Image:g(x,y)Fig 1e FFT(g(x,y))Fig 1f Image mosaic
由于各种噪声的存在，拼接误差难以完全避免，因此我们采用三角调整技术[9]，对获得的四组平移量加以修正，以便将错误的定位关系转化为正确的定位关系。
, http://www.100md.com
2.6 基于数学形态学方法的图像光滑拼接
直接采用相位相关法对眼底图像进行拼接时所得到的图像往往因受眼底图像背景不均(拍摄时的角度、照度及曝光的不均匀性等因素引起)的影响而使得拼接缝极为明显。采用在不同尺度下，选取不同的拼接宽度，把待配图像在不同尺度下的小波分量先拼接起来，然后再进行小波逆变换来重构眼底拼图的小波变换方法[7]，虽能较好地兼顾清晰度及光滑度的要求，但处理复杂且耗时过长。而采用在两幅图像拼接处取平均的方法，由于受眼底图像背景高度不均的影响(中央亮、周边暗)，不仅不能减小拼接处的阶梯效应，而且还使得图像拼接处的血管边沿模糊化。本文采用从直接消除拼接缝产生的根源出发，即首先采用数学形态学的滚动球算法分离出背景，并进行图像增强[8]，然后再进行图像拼接，以达到从根本上消除图像拼接处阶梯效应的目的。利用滚动球算法得到的背景图像为：
, 百拇医药
I为经平滑滤波后的原始图像；g(r=10)为圆形结构元。
图2a 直接拼接 图2b 光滑拼接
Fig 2a Direct mosaicFig 2b Smooth mosaic
3 结果与讨论
图2a为采用相位相关法直接对中央及鼻上两幅眼底图像进行自动拼接后的结果(x′0=-44pixels；y′0=79pixels；x′0=x0+Δxlu;y′0=y0+Δylu;Δxlu,Δylu为两图像相关窗的左上角坐标之差)。显然拼接缝极为明显且血管模糊不清。图2b为采用数学形态学的滚动球算法分离出中央和鼻上两幅眼底图像的背景并进行图像增强，然后再进行图像拼接所得的结果。显然，本文方法不仅消除了图像拼接处的阶梯效应，且视网膜血管的视觉效果极佳。处理时间：在Pentium-S 586型计算机(100 M主频，16 M内存)进行处理，耗时约为31 s(其中平移量计算20 s；背景去除9 s；其它2 s)，可以满足临床上对速度的要求。匹配正确概率约为：96%。本文方法并未对两幅图像之间的相对旋转加以考虑(一般｜Δθ｜≤3°，影响不是很大)。限于篇幅，有关旋转及比例变化的修正将在另文介绍。
, http://www.100md.com
* 浙江省自然科学基金资助项目
参 考 文 献
1 张惠蓉.眼微循环及其相关疾病.北京：北京医科大学、中国协和医科大学联合出版社，1993∶162-170
2 Phillips RP, Spencer T, Ross PGB et al. Quantification of diabetic maculopathy by digital imaging of the fundus. Eye, 1991,5∶130
3 Nagin P, Schwartz B, Reynolds G. Measurement of flurescein angiograms of the optic disc and retina using computerized image analysis. Ophthalmology, 1985,92∶547
, 百拇医药
4 Peli E, Augliere RA, Timberlake GT. Feature-based registration of retinal images. IEEE Trans Med Imaging. 1987；MI-6∶272
5 Lee DJ,Krile TF,Mitra S. Digital registration techniques for sequential fundus images. SPIE: Applications of Digital Image Processing X, 1987；829∶293
6 De Castro E， Cristini G, Martelli A et al. Compensation of random eye motion in television ophthalmoscopy:preliminary results. IEEE Trans Med Image,1987；MI-6∶74
, 百拇医药
7 王建忠.图像镶嵌及其边界处理.模式识别与人工智能.1993；6(3)∶189
8 许 雷，郑筱祥.一种基于视觉非线性及数学形态学的视网膜血管图像自适应增强方法.中国医疗器械杂志.1997；21(3)∶144
9 Tanaka M, Tanaka K. An automatic technique for fundus-photograph mosaic and vascular net reconstrucion. IFIP,1980∶116
10 Chaudhuri S,Chatterjee S,Katz N. Automatic detection of the optic nerve in retinal images. Proc. IEEE International Conference on Image Processing, Singapore, 1989；1∶1
(收稿：1997-06-13), 百拇医药(许 雷1 张恒义1 虞亚军1 郑筱祥1 俞 锋2 姜节凯2)
单位：1(浙江大学 生命科学与医学工程学系，杭州 310027)；2(浙江医科大学 第二附属医院)
关键词：眼底图像；数学形态学；相位相关法；自动拼接
生物医学工程学杂志980318 内容摘要 眼底图像的快速自动拼接是眼底血管图像定量分析的必要前提。首先运用数学形态学的‘开’运算从原始图像中分离出灰度分布高度不均的背景图像。经图像增强，采用相位相关法求出图像间的平移量。结果表明：本文方法具有错配率低、速度快、拼接处光滑过渡并能同时增强血管对比度的优点。
A Robust Method for Automated Retinal Vascular
, http://www.100md.com
Images Mosaic Based on Phase Correlation
Method and Mathematical Morphology
Xu Lei1 Zhang Hengyi1 Yu Yajun1 Zheng Xiaoxiang1 Yu Feng2 Jiang Jiekai2
1(Dept of Life Science and Biomedical Engineering, Zhejiang University,Hangzhou 310027)
2(The Second Branch Hospital of Zhejiang Medical University)
, 百拇医药
Abstract Precise mosaic techniques are essential for quantitative evaluation of retinal images to make early detection of fundus anomalies feasible. Opening of a gray-scale image by a gray-scale structuring element(SE) can generate a background image. Image mosaic was achieved by subtraction this background image from the original image and then applying a phase correlation method to find translation difference. Because of the accuracy characteristics of the phase correlation method and the speed of the FFT hardware, this new algorithm can work very fast and accurately, compared to conventional techniques. The method was also characterized by an outstanding robustness against correlated noise and disturbances, such as those encountered with nonuniform illumination. The results confirm the robustness of the chosen approach.
, 百拇医药
Key words Retinal images Mathematical morphology Phase correlation method Image mosaic
1 引 言
心脑血管疾病是目前我国老年人口致残和死亡的主要原因。通过对眼底血管形态与结构细微改变的定量分析，结合作眼底荧光血管造影，对高血压、脑血管硬化等心脑血管疾病的病程、严重程度及预后状况进行非创伤性地计算机辅助诊断具有十分重要的临床及科研意义[1]。但在眼底图像获取时，受眼底照相机放大倍数及视野的限制(放大倍数越大，视野越小)，在保证一定图像分辨率的情况下，往往只能获得眼底的局部图像。而眼底图像的临床分析却需要对整个眼底或大部分(高血压性眼底图像的分析主要集中在中央、颞上、颞下、鼻上、鼻下五个区域)进行分析处理，这就使得眼底图像的拼接成为一项经常性的繁重工作。计算机的广泛应用为图像拼接提供了良好的硬件基础，同时也对快速、自动的图像拼接算法提出了迫切要求。
, 百拇医药
有关图像拼接或配准(拼接与配准的差别在于拼接图像间的重叠量小于配准图像间的重叠量)已有不少文献报道。比如Phillips[2]等采用人机交互方式，对糖尿病性黄斑区病变病人的荧光眼底图像序列进行了手动配准。此法虽具有严重错配概率低的优点，但配准精度低、可重复性差且费时又费力。自动配准法则可分为基于局部特征信息(血管的边沿、分叉点及交叉点)[3，4]的配准法及全局相关配准法[5]。基于局部特征的配准法虽具有配准精度高，速度快(比如SSDA算法)的优点，但在特征自动选取(眼底图像特征地可靠提取需复杂、耗时的前处理，甚至高于求相关所需的时间，比如对512×512图像，采用高斯匹配滤波法提取血管需15 min)、特征之间对应关系的确定及匹配搜索范围限定上无通用的优化规则(对眼底图像而言，基于塔式分解，先粗后细的搜索算法存在着粗匹配时极易错配的缺点)。由于眼底图像生理上的复杂性及信噪比较低，采用基于局部特征方法的错配率远大于全局方法[6]。加之目前能作实时FFT的硬件日趋完善(256×256图像进行FFT时，只需22 ms)，全局方法更具优越性。本文提出一种基于数学形态方法及相位相关法(属于全局方法)的图像拼接方法，概括为四个步骤。1图像采集；2.图像前处理(噪声滤除，背景去除及图像增强)；3.基于相位相关法的图像拼接；4.边界处理。
, 百拇医药
2 材料与方法
2.1 实验对象
以浙江医科大学第二附属医院门诊患者的眼底图像作为实验图像，并以Scheie氏分类法诊断动脉硬化(Ⅱ°17例，Ⅰ°14例，无高血压史且眼底像清晰患者51例)。
2.2 仪器
(1)眼底照相机型号为：Nicon-505c。(2)激光扫描仪：Uniscan 4C。(3)摄像头：GV1550。(4)多媒体视频采集卡：Grand Video。(5)录像机：JVC。(6)计算机眼底血管图像处理系统：浙大生医系定量与系统生理实验室。
2.3 图像采集
将上述观察对象用5%托品酰胺对右眼进行充分散瞳，瞳孔直径达7 mm以上时进行眼底摄影(柯达彩卷)。以视神经乳头及视网膜血管的鼻上、鼻下、颞上、颞下分枝血管的二级分枝处为中心拍摄(视角30°)五张照片，其中视神经乳头图像用作图像拼接的基准(即以视神经乳头区域作为五幅图像的重叠区域且求相关区域的大小取为256×256或512×512，以便FFT实现。有关视神经乳头区域位置的自动定位，可参见文献[10])。使用激光扫描仪将眼底照片数字化后(WINDOWS DIB格式)进行计算机图像自动拼接。
, 百拇医药
2.4 图像前处理
对数字化后的眼底图像进行平滑滤波(高斯滤波，中值滤波等)，消除噪声以提高拼接精度。为克服背景不均对拼接的影响，可选用两种算法(即Laplacian算子边沿提取算法及基于数学形态学滚动球算法的背景去除算法[8])处理后的图像作为匹配原型。
2.5 基于Phase correlation法的图像拼接(如图1a～1f所示)
设g(x,y)＝f(x-x0,y-y0)，其中x0，y0为连续图像g相对于图像f的平移量。则图像g的Fourier变换为：
G(u,ν)=F(u,ν)e-j2π(ux0+νy0)。对相位函数
，并在Fourier反变换后的图像内寻找极大值所在位置的坐标值即可求出平移量x0及y0。一般地，采用互相关函数法(式F-1(G(u,ν)F*(u,ν))计算时所得到的相关曲线往往较平坦(图像中的直流分量、像素间的空间相关性等因素引起)，且噪声可能掩盖相关峰值。因此本文不采用对GF*，而是采用对求快速Fourier反变换，则可以在基本不增加计算量的前提下克服上述缺点(即：IFFT；对仅有平移，无光照不均的两幅理想图像有：为复数的相位。但对实际的离散图像，。其理由是：相位相关法可看作是经“白化”前处理后的相关函数法，因此具有受背景信号影响小，并能加强图像轮廓信号(血管)对拼接精度影响的优点。为克服眼底照相机圆形视野带来的边界效应，还需对眼底图像进行预加权(高斯形权值，中央为1，周边为0.1)。图1f为一经平移套准后的拼接图像。因输入图像是实数序列，可用一个复数据的FFT来代替两个实数据的FFT，以加快运算速度。设, http://www.100md.com
图1a 图像f(x,y) 图1b 对图像f(x,y)求快速付里叶变换 图1c 对图像(GF*/｜GF*｜)求快速付里叶反变换
Fig 1a Image:f(x,y)Fig 1b FFT(f(x,y))Fig 1c IFFT (GF*/｜GF*｜)
Fig 1d 图像g(x,y)图1e 对图像g(x,y)求快速付里叶变换图1f 图像拼接
Fig 1d Image:g(x,y)Fig 1e FFT(g(x,y))Fig 1f Image mosaic
由于各种噪声的存在，拼接误差难以完全避免，因此我们采用三角调整技术[9]，对获得的四组平移量加以修正，以便将错误的定位关系转化为正确的定位关系。
, http://www.100md.com
2.6 基于数学形态学方法的图像光滑拼接
直接采用相位相关法对眼底图像进行拼接时所得到的图像往往因受眼底图像背景不均(拍摄时的角度、照度及曝光的不均匀性等因素引起)的影响而使得拼接缝极为明显。采用在不同尺度下，选取不同的拼接宽度，把待配图像在不同尺度下的小波分量先拼接起来，然后再进行小波逆变换来重构眼底拼图的小波变换方法[7]，虽能较好地兼顾清晰度及光滑度的要求，但处理复杂且耗时过长。而采用在两幅图像拼接处取平均的方法，由于受眼底图像背景高度不均的影响(中央亮、周边暗)，不仅不能减小拼接处的阶梯效应，而且还使得图像拼接处的血管边沿模糊化。本文采用从直接消除拼接缝产生的根源出发，即首先采用数学形态学的滚动球算法分离出背景，并进行图像增强[8]，然后再进行图像拼接，以达到从根本上消除图像拼接处阶梯效应的目的。利用滚动球算法得到的背景图像为：
, 百拇医药
I为经平滑滤波后的原始图像；g(r=10)为圆形结构元。
图2a 直接拼接 图2b 光滑拼接
Fig 2a Direct mosaicFig 2b Smooth mosaic
3 结果与讨论
图2a为采用相位相关法直接对中央及鼻上两幅眼底图像进行自动拼接后的结果(x′0=-44pixels；y′0=79pixels；x′0=x0+Δxlu;y′0=y0+Δylu;Δxlu,Δylu为两图像相关窗的左上角坐标之差)。显然拼接缝极为明显且血管模糊不清。图2b为采用数学形态学的滚动球算法分离出中央和鼻上两幅眼底图像的背景并进行图像增强，然后再进行图像拼接所得的结果。显然，本文方法不仅消除了图像拼接处的阶梯效应，且视网膜血管的视觉效果极佳。处理时间：在Pentium-S 586型计算机(100 M主频，16 M内存)进行处理，耗时约为31 s(其中平移量计算20 s；背景去除9 s；其它2 s)，可以满足临床上对速度的要求。匹配正确概率约为：96%。本文方法并未对两幅图像之间的相对旋转加以考虑(一般｜Δθ｜≤3°，影响不是很大)。限于篇幅，有关旋转及比例变化的修正将在另文介绍。
, http://www.100md.com
* 浙江省自然科学基金资助项目
参 考 文 献
1 张惠蓉.眼微循环及其相关疾病.北京：北京医科大学、中国协和医科大学联合出版社，1993∶162-170
2 Phillips RP, Spencer T, Ross PGB et al. Quantification of diabetic maculopathy by digital imaging of the fundus. Eye, 1991,5∶130
3 Nagin P, Schwartz B, Reynolds G. Measurement of flurescein angiograms of the optic disc and retina using computerized image analysis. Ophthalmology, 1985,92∶547
, 百拇医药
4 Peli E, Augliere RA, Timberlake GT. Feature-based registration of retinal images. IEEE Trans Med Imaging. 1987；MI-6∶272
5 Lee DJ,Krile TF,Mitra S. Digital registration techniques for sequential fundus images. SPIE: Applications of Digital Image Processing X, 1987；829∶293
6 De Castro E， Cristini G, Martelli A et al. Compensation of random eye motion in television ophthalmoscopy:preliminary results. IEEE Trans Med Image,1987；MI-6∶74
, 百拇医药
7 王建忠.图像镶嵌及其边界处理.模式识别与人工智能.1993；6(3)∶189
8 许 雷，郑筱祥.一种基于视觉非线性及数学形态学的视网膜血管图像自适应增强方法.中国医疗器械杂志.1997；21(3)∶144
9 Tanaka M, Tanaka K. An automatic technique for fundus-photograph mosaic and vascular net reconstrucion. IFIP,1980∶116
10 Chaudhuri S,Chatterjee S,Katz N. Automatic detection of the optic nerve in retinal images. Proc. IEEE International Conference on Image Processing, Singapore, 1989；1∶1
(收稿：1997-06-13), 百拇医药(许 雷1 张恒义1 虞亚军1 郑筱祥1 俞 锋2 姜节凯2)