首页> 中国专利> 一种数字成像系统的光学和数字联合设计方法

一种数字成像系统的光学和数字联合设计方法

摘要

本发明涉及一种数字成像系统的光学和数字联合设计方法,实现步骤如下:通过分析利用数字处理补偿色差、离焦、畸变、像散、慧差、场曲、球差引起的成像清晰度损失的难易程度,用光学设计校正不易于用数字处理补偿的像差,把易于用数字处理补偿的像差用图像处理算法校正,并通过对成像目标先验信息、光学成像系统、数字处理系统、联合设计性能指标的建模实现数字成像系统的光学/数字联合迭代优化设计,放宽了对光学系统的严格限制,降低光学系统的复杂度,实现了光学设计和数字处理的全局最优。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-02-22

    授权

    授权

  • 2015-05-27

    实质审查的生效 IPC(主分类):G02B27/00 申请日:20150121

    实质审查的生效

  • 2015-04-29

    公开

    公开

说明书

技术领域

本发明涉及一种数字成像系统的光学和数字联合设计方法。

背景技术

随着电子技术和材料工艺的飞速发展,成像系统经已经由卤化银胶片成像式发展为 数字成像,现在传统的数字成像系统主要由光学系统和探测器系统组成,目标通过光学 系统成像在CCD或COMS探测器上形成数字图像,人们再针对应用需求利用图像处理 算法对数字图像进行或多或少的修正,而数字图像处理对于传统的数字成像系统来说并 非是必要的组成部分,这样,就一定意义上失去了所谓“数字”成像的特点,并没有完全 的挖掘出数字成像的全部优点。

传统的数字成像系统设计方法主要分为两个步骤:第一步,用基于光线追迹的方法 对光程差函数(或者波像差)进行优化来设计光学系统。光程差函数(或者波像差)是 光学系统优化设计首要考虑的因素,其可以通过离焦、畸变、像散、慧差、场曲、球差、 色差来表示,光学系统设计就是要平衡这些像差,使镜头出瞳光程差函数平方的均值最 小,来满足成像系统设计要求。第二步,在光学系统设计完毕后,需要根据需求对光学 系统的成像结果进行数字处理来提高图像的视觉效果,主要包括提高信噪比、提高对比 度等。总的来说传统的设计方法是一种顺序队列式的设计,光学设计和数字处理相互独 立。

传统设计方法使光学系统设计的优劣成为决定成像质量的唯一环节,为了“完美”校 正像差,光学镜头通常需要多片镜片构成,镜片的曲率也可能是非球面的,这导致镜头 加工、装调、检测异常困难,使成像系统体积重量大、研发周期漫长、成本高昂。然而, 不管镜片数量再多、曲率再复杂也远不及各个级次像差的数量,每种像差仍会有一定的 残留,影响成像的清晰度。另外,尽管可以通过锐化提高对比度和平滑提高信噪比的数 字处理方式来提高图像的清晰度,但是提高信噪比和提高对比度相互制约、难以兼顾, 图像平滑使邻域内像素灰度值相加取平均必然降低对比度,图像锐化引入卷积算法必然 会使噪声放大或引入新的噪声。并且光学设计和数字处理设计在设计上相互独立,不成 体系。

因此,需要对传统设计方法进行改进,使光学系统设计和数字信号处理有机结合, 为简化数字成像系统提供一种解决途径。

发明内容

本发明技术解决问题:提供一种使光学设计和数字处理相互联系的数字成像系统设 计方法,使数字处理能够有效的补偿光学系统的遗留像差,实现光学设计和数字处理设 计的联合迭代优化,用数字处理分担光学系统的压力,一定程度上降低了光学系统的复 杂度。

本发明技术解决方案:一种数字成像系统的光学和数字联合设计方法,实现步骤如 下:

(1)建立成像目标的先验模型

成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,主要包 括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。

(11)物理先验信息:功率谱密度函数反应了目标空间频率的变化范围,具体可以 参考现有技术得以理解,在此不做赘述。(P.D.Welch.The use of fast Fourier transforms  for the estimation of power spectra:A method based on time averaging over short modified  periodograms.IEEE Transactions on Audio and Electroacoustics 15,70-73(1967).);

(12)噪声先验信息:噪声是一个随机过程,噪声灰度值是一个随机向量,按照其统 计特性可分为:高斯噪声、Gamma噪声、泊松噪声、瑞利噪声。在空间域,噪声灰度值 是随机跳变的;在频率域,噪声信息在高频段,具体可以参考现有技术得以理解,在此不 做赘述。(Rafael C.Gonzalez and Richard E.Woods.Digital image Processing.3rd Edition. Prentice Hall PTR,2007.);

(13)纹理先验信息:纹理是引起人类视觉系统感知理解的最重要因素,是由许多 周期性的相互接近、相互编织的模式和灰度(颜色)在空间以一定形式变化而产生的图案。 纹理是自然图像的固有特征,它往往反映了目标内部的精细结构以及具有不规则性和相 似性的振荡行为。如Mumford-Shah模型、全变分模型等。具体可以参考现有技术得以理 解,在此不做赘述。(D.Mumford and J.Shah.Optimal approximations by piecewise smooth  functions and associated variational problems.Comm.Pure Appl.Math.,42:577-685,1989.);

(14)成像过程先验信息:目标在光学系统中的成像结果可以认为是一个与像差有 关的随机统计量,即光学系统成像结果可以表示成条件概率: P{T9=Y|T0=t0,T1=t1,...,T8=t8},其中,T0—T6表示离焦、畸变、像散、慧差、场曲、球 差、色差等光学像差,T7表示为探测器造成的清晰度下降,T8表示为噪声引起的清晰度 下降,下标0-9表示了清晰度状态的转移,如果光学像差、探测器、噪声是相互独立的, 则光学系统的成像结果可以用Markov随机场来表示。例如,可以用经典的高斯-马尔可 夫随机场来刻画图像的统计分布:其中X表示 成像场景,Q表示噪声N的协方差矩阵。具体可以参考现有技术得以理解,在此不做赘 述。(Anand Rangarajan and Rama Chellappa.Markov random field models in image  processing.MIT Press.564-567,1995.);

(15)以上(11)—(14)都可以作为成像目标的先验信息,用以对求解光学/数字 联合设计中的像差校正问题提供约束,成像目标的先验信息设计参数集合可以表示为 ΩTarget

(2)建立光学成像系统模型

光学成像系统模型包括光学子系统模型和探测器子系统模型。

(21)根据用数字处理的方法补偿单色像差的难以程度排序为:

畸变<慧差<像散<离焦≤球差

色差可以通过不同折射率和色散的材料组合成双胶合透镜在一段特定的波长范围 对人眼不敏感,因此可以需根据研发周期和设计成本等因素来选择通过光学设计校正哪 些不易于数字补偿的像差;

(22)目标场景x经光学系统调制的结果yoptic可以表示成空间变化的卷积积分:

yoptic=x(t-τ,λ)hoptic(t,τ,λ)---(12)

其中,t表示图像的空间位置,τ为卷积松弛变量,λ表示入射光波长,hoptic表示由像差 引起的光学系统点扩散函数;

(23)hoptic可以通过测量光程差函数OPD(p,t,λ)波前分布获得,可就是说光学系统 的像差可以表示为真实波前和理想波前的光程差:

hoptic(t,τ,λ)=|A(p)expj[OPD(p,t,λ)+2πτp]dp|2---(13)

其中,p表示光学系统出瞳平面的二维坐标,A(p)表示出瞳的幅值,光学子系统的 优化就是改变光学参数使光学子系统出瞳OPD函数平方均值最小。这些参数包括入射光 波段范围、光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等, 用ΩOptic来表示这些设计参数组成的集合;

(24)探测器子系统相当于对光学子系统的调制结果进行采样的一个带通滤波器, 通常探测器由矩形像元构成,其传递函数可以表示为:

其中,ωs为探测器采样频率;为探测器方形像元的相对宽度,与填充因子有关, 当填充因子为100%时,填充因子小于100%时,探测器设计参数包括探测 器的像元数量、像元大小、像元形状、填充因子、量子效率等,用ΩSensor来表示这些设 计参数组成的集合;

(25)将光学子系统的传递函数和探测器子系统的传递函数联合起来,结合目标场 景的先验信息,建立光学成像系统传递函数模型:

H(ΩOptic,ΩSensor|ΩTarget)=hoptic|ΩTarget*hsensor|ΩTarget---(15)

利用成像目标先验信息获得的系统噪声N(ΩTarget)即可建立光学成像系统成像模型:

Y=H(ΩOpticSensorTarget)X+N(ΩTarget)   (16)

(3)建立数字处理系统模型

数字处理系统由平滑滤波器和锐化滤波器构成,用于补偿光学成像系统的遗留像 差。

(31)平滑滤波器用于降低图像的噪声,一般来讲,对大小为M1×M2的图像f(x,y) 经过一个大小为m1×m2的掩模进行平滑滤波后得到的图像为:

g(x,y)=Σs=-aaΣu=-bbψ(s,u)f(x+s,y+u)Σs=-aaΣu=-bbψ(s,u)---(17)

平滑滤波器的基本构成都由上式发展而来,在具体实现方法上有所不同,可以是线 性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作。如中 值滤波器、最频值滤波器、阿尔法均值滤波器等;

(32)锐化滤波器用于提高图像的对比度,通常来讲,锐化滤波均与图像的梯度有 关,对于图像f来说,其梯度可以定义为一阶微分:

GxGy=fxfy=f(x+1,y)-2f(x,y)f(x,y+1)-2f(x,y)---(18)

也可以定义为二阶微分:

GxGy=2fx22y2=f(x+1,y)+f(x-1,y)-2f(x,y)f(x,y+1)+f(x,y-1)-2f(x,y)---(19)

上式中,Gx、Gy分别表示图像在水平方向x的梯度和竖直方向y的梯度,f(x,y)表 示在坐标(x,y)处的灰度值;

现代的锐化滤波器基本都由图像梯度发展而来,在具体实现方法上有所不同,可以 是线性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作。 如拉普拉斯滤波器、高频提升滤波器、高斯型高通滤波器等;

(33)在数字图像处理中平滑滤波和锐化滤波是相互矛盾的,平滑滤波必然会造成 图像的对比度损失,锐化滤波必然会造成图像的信噪比损失,因此,数字处理设计时必 须同时考虑这两种损失,以使像差修正效果达到最优,例如逆滤波器、维纳滤波器等;

(34)用ΩDigital来表示平滑滤波器和锐化滤波器参数组成的集合,用表示补偿像差后 的数字图像,用W(ΩDigitalTarget)表示结合目标先验信息的数字处理系统调制传递函数,则 数字处理系统调制模型为:

X^=W(ΩDigital|ΩTarget)Y---(20)

(4)建立联合设计性能指标模型

联合设计性能指标模型是联接光学成像子系统和数字处理子系统的桥梁,通过联合 设计性能指标使这两部分设计内容能够相互联系,把光学系统和数字处理作为整体进行 设计和优化,实现数字成像系统的系统级最优。

(41)使用理想成像结果与像差数字补偿后的图像差的均方值最小作为联合设计的性能 指标,即:

J=min E(eTe)=min E[Tr(eeT)]   (21) 其中,符号“E”表示数学期望,符号“Tr”表示矩阵的迹;

(42)根据光学成像系统成像模型和数字处理系统调制模型,有:

X^=WY=W(HX+N)---(22)

将(11)式代入(10)式,有:

J=min E{Tr[(X-WY)(X-WY)T]}

=minE{Tr[XXT-W(HXXT+NXT)-(XXTHT+XNT)WT   (23)

+W(ΗXXTHT+ΝXTHT+ΗXNT+ΝΝT)WT]}

(43)一般来讲,可以假设噪声均值为0,且噪声与成像结果不相关,则:

E(XNT)=E(NXT)=0   (24) 则(12)式变为:

J=Tr[E(XXT)-E(WHXXT)-E(XXTHTWT)   (25)

+E(WHXXTHTWT)+E(WNNTWT)]

上式中,XXT和NNT分别为成像场景与噪声的自相关函数,令RX=XXT,RN=NNT, 则:

J=min Tr(RX-2WHRX+WHRXHTWT+WRNW)   (26)

上式中既包含了光学成像系统模型H,也包含了数字处理系统模型W;并且右端包 含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平 滑的平衡。

根据步骤(2)可知,光学成像系统传递函数H由光学子系统传递函数hoptic和探测 器子系统传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t,λ) 波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像系统传递函数H, 再通过(26)式,可以求得数字处理系统传递函数W,此时,若同时满足联合设计性能 指标和成像目标先验信息的约束,则可获得联合设计数字图像,若不同时满足满足联合 设计性能指标和成像目标先验信息的约束,则要重新回到步骤(2)选择像差进行光学 成像系统的设计得到新的光学成像系统传递函数,再通过(26)式得到新的数字处理系 统传递函数,如图4所示,重复这个迭代优化的过程直至实现联合设计的最优结果。

本发明原理:本发明中,为了描述光学系统设计与数字处理系统设计之间的联系, 首先要阐述不同光学像差对成像清晰度的影响。由于光学设计、光学材料、光学加工装 调等限制引起的光学像差有:离焦、畸变、像散、慧差、场曲、球差、色差。色差为由 于光学材料折射率随波长变化,造成物点发出的不同波长的光线通过光学系统后不汇聚 在一点,而成为有色的弥散斑,具体的弥散情况可以用与色差相关的点扩散函数表示, 色差仅出现在含有透射元件的光学系统中,如图1所示,表示了450nm、550nm、650nm 波长的光线在经过光学系统后的点扩散情况。通常可以利用不同折射率和色散的材料组 合成双胶合透镜使色差在一段特定的波长范围内得到降低,使在该波长范围内人眼对色 差不敏感。数据处理中,需要利用各波段之间的先验信息来消弱色差的影响。

离焦、畸变、像散、慧差、场曲、球差为单色像差,透射光学器件和反射光学器件 均会产生单色像差,由于像散表示子午光线场曲和弧矢光线场曲的差值,所以用离焦、 畸变、像散、慧差、球差即可表示光学系统的单色像差。根据波像差理论和泽尼克多项 式,能够得到当光学系统仅含有一种单色像差时的点扩散函数,对离焦、畸变、像散、 慧差、球差的点扩散函数做傅里叶变换再取模值即可得到每种像差的调制传递函数,而 调制传递函数能够更直观的表示出各个单色像差对成像清晰度的影响。

如图2所示,表示当光学系统仅含有一种单色像差时的调制传递函数曲线,且每种 像差引起的波相差值均相等。从图2中也可以看出不同像差对成像清晰度的影响也是不 同的,有的像差的调制传递函数下降较快速,有的像差的调制传递函数下降较缓慢,有 的像差调制传递函数过零点较多,有的像差的调制传递函数过零点较少,这些特性都与 图像清晰度的损失密切相关。根据图像恢复的理论可知,如果图像的调制传递函数下降 过于快速,或者过零点频率较低,或者零点较多都会给图像复原带来更大的难度,特别 是在过零点图像的信息基本完全损失,难以恢复。再结合图2可知,对于不同的像差, 用数字处理来补偿的难度是不一样的,例如,畸变的调制传递函数下降最缓慢且过零点 频率最高,因此其对清晰度的影响是最小的;而相比于球差来说,慧差由于其调制传递 函数过零点相对较少且第一个过零点频率较高,因此,利用数字处理的方式修正慧差比 修正球差更容易,慧差修正后的结果也较球差修正后的结果较好。也就是说,像差可以 分为易于数字修正和不易于数字修正两类,在设计光学系统时,就可以根据研发成本和 应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像 差留给数字处理系统来补偿,这就是光学/数字联合设计的核心思想。在传统设计中,仅 是在成本和需求的约束下,根据对易于数字修正的像差和不易于数字修正的像差一起做 平衡来满足设计要求,并没有考虑数字处理对像差的补偿作用,而通过联合设计,利用 数字处理系统分担了光学系统的部分压力,从而放宽了对光学系统的严格要求,降低了 光学系统的复杂度,可以用低成本的光学系统实现高质量的数字图像。

本发明与现有技术相比的优点在于:本发明在联合设计中,成像质量由光学子系统 和数字子系统一起决定,光学子系统仅作为成像系统的一个中间环节,并非传统设计中 成像质量的决定环节,这样就放宽了对光学系统像差修正的严格要求,并且充分体现了 “数字成像”的特点。联合设计的是通过寻找光学设计和数字处理设计的交叉点,使这两 部分设计内容能够相互联系,把光学系统和数字处理作为整体进行设计和优化,实现数 字成像系统的系统级最优。

附图说明

图1不同波长光线对应的点扩散函数;

图2不同像差的调制传递函数;

图3为本发明的光学/数字联合设计方法框图;

图4为本发明光学设计与数字处理设计迭代优化框图。

具体实施方式

本发明的技术关键点在于:通过分析利用数字处理补偿色差、离焦、畸变、像散、 慧差、场曲、球差引起的成像清晰度损失的难易程度,把不易于用数字处理补偿的像差 留给光学设计校正,把易于用数字处理补偿的像差用图像处理算法校正,并通过对成像 目标先验信息、光学成像系统、数字处理系统、联合设计性能指标的建模实现数字成像 系统的光学/数字联合设计,放宽了对光学系统的严格限制,降低光学系统的复杂度,同 时又实现了光学设计和数字处理的全局最优。

如图3所示,本发明数字成像系统的光学和数字联合设计方法的具体实施步骤如下:

(1)建立成像目标的先验模型

成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验约束,主要包 括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。物理先验信息根 据物理理论获得,如目标的功率谱密度函数;噪声先验信息根据噪声分布规律获得,高 斯噪声、Gamma噪声等;纹理先验信息根据目标反应在数字图像中的自然景物的像素值 变化规律获得,反映了目标特征纹理的保持;成像过程先验信息是把图像看做为一个 Markov随机场,把图像清晰度的降低看做为由像差、探测器采样、噪声引起的随机过程。 先验模型可以综合以上四种先验信息也可以只由其中几种先验信息构成,需视具体应用 和已知信息而定,用ΩTarget表示设计成像目标先验模型时的参数集合。

(2)建立光学成像系统模型

光学成像系统包括光学子系统和探测器子系统。光学子系统即光学镜头,其在具体 设计时首先根据研发成本和应用需求确定哪些像差着重使用光学元件校正,哪些像差留 给数字处理进行校正,图1表示色差与入射波长有关,可以通过双胶合透镜予以校正, 图2表示了各单色像差对成像清晰度的影响和数字处理校正的难度;再根据光线追迹理 论,以最小空气间隔、最小边缘厚度、最小中心厚度、镜片可用材料等条件为约束,并 引入光学系统出瞳光程差函数平方的均值最小(或者波像差最小)作为性能指标函数对 光学镜头进行优化设计。在数学建模时,光学子系统空间域可以通过点扩散函数建模, 频域可以将光学系统看作为一个低通滤波器,利用光学传递函数、调制传递函数进行建 模。光学设计参数包括入射光波段范围、光学镜片数量、镜片材质、镜片大小、镜片曲 率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合。

探测器子系统在空间域上可以建模为一个对光学子系统所收集信息的离散采样滤 波器。探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子 效率等,用vSensor来表示这些设计参数组成的集合。

光学子系统和探测器子系统模型建立后,再结合目标的先验信息,就可以建立光学 成像模型,表示为H(ΩOpticSensorTarget),其具体意义为在先验信息ΩTarget下,探测器对 像差点扩散函数的离散采样结果。

那么,假设目标场景为X(即理想无像差成像结果),光学成像系统的成像结果为 Y,利用成像目标先验信息获得的系统噪声为N(ΩTarget),则根据经典的成像方程可得:

Y=H(ΩOpticSensorTarget)X+N(ΩTarget)   (27)

(3)建立数字处理系统模型

数字处理系统用于补偿光学成像系统的遗留像差,数字处理系统的模型取决于采用 何种算法提高图像的清晰度来补偿光学成像系统的缺陷,本发明中,图像清晰度的提升 主要包括信噪比提升和对比度增强两个方面,信噪比提升需要对图像进行平滑滤波,对 比度增强需要对图像进行锐化滤波。然而,在数字图像处理中平滑滤波和锐化滤波是相 互矛盾的,平滑滤波必然会造成图像的对比度损失,锐化滤波必然会造成图像的信噪比 损失,因此,数字处理设计时必须同时考虑这两种损失,以使像差修正效果达到最优。

数字处理系统的设计参数包括滤波器的设计方法(如滤波器是线性的还是非线性 的),滤波器的功能(如实现对比度增强,还是实现信噪比提升),滤波器的具体形式 (如维纳滤波、逆滤波等),用ΩDigital来表示这些参数组成的集合,用表示补偿像差 后的数字图像,用W(ΩDigitalTarget)表示结合目标先验信息的数字处理系统模型,则有:

X^=W(ΩDigital|ΩTarget)Y---(28)

(4)建立联合设计性能指标模型

联合设计性能指标模型是联接光学成像子系统和数字处理子系统的桥梁,通过联合 设计性能指标使这两部分设计内容能够相互联系,把光学系统和数字处理作为整体进行 设计和优化,实现数字成像系统的系统级最优。本发明中使用理想成像结果与像差数字 补偿后的图像差的均方值最小作为联合设计的性能指标,即:

J=min E(eTe)=min E[Tr(eeT)]   (29)

=min Tr(RX-2WHRX+WHRXHTWT+WRNW)

上式中,X与步骤(2)中X所表示意义一致,与步骤(3)中所 表示意义一致,W为步骤(3)中W(ΩDigitalTarget)的简写,H为步骤(2)中 H(ΩOpticTargetSensor)的简写,N为步骤(2)中N(ΩTarget)的简写。E表示数学期望,Tr 表示矩阵的迹;RX为目标自相关函数,RN为噪声自相关函数,这两个自相关函数都与 先验信息有关。

(29)式中既包含了光学成像系统传递函数H,也包含了数字处理系统传递函数W; 并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现 了锐化和平滑的平衡。

根据步骤(2)可知,光学成像系统传递函数H由光学子系统传递函数hoptic和探测 器子系统传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t,λ) 波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像系统传递函数H, 再通过(29)式,可以求得数字处理系统传递函数W,此时,若同时满足联合设计性能 指标和成像目标先验信息的约束,则可获得联合设计数字图像,若不同时满足满足联合 设计性能指标和成像目标先验信息的约束,则要重新回到步骤(2)选择像差进行光学 成像系统的设计得到新的光学成像系统传递函数,再通过(29)式得到新的数字处理系 统传递函数,如图4所示,重复这个迭代优化的过程直至实现联合设计的最优结果。

提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发 明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修 改,均应涵盖在本发明的范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号