面向TV影像的超分辨率处理方法、及基于该方法的面向TV影像的超分辨率处理装置、第一～第十四超分辨率处理程序以及第一～第四存储介质

摘要

本发明利用将与TV影像的劣化程度相应地特定出的PSF的亮度分布、由TV影像的Y(亮度)成分构成的劣化图像的亮度分布及复原图像初始值的推定亮度分布作为输入信息来多次执行基于Bayse概率论的基于实数的迭代运算的、基于软件或硬件的PSF复原单元及图像复原单元，来求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，并将其替换在提取了劣化图像的亮度分布时的TV影像的Y成分，由此接近实时地提供与劣化前的状态近似的TV影像，从而解决上述课题。

说明书

技术领域

本发明涉及TV影像的图像处理，尤其是涉及通过基于Bayse(贝叶斯)概率论的数 学运算处理去除在TV影像中含有的光学模糊或污点这种劣化了的信息来复原成劣化之前 的原图像的、面向TV影像的超分辨率处理方法、及基于该方法的面向TV影像的超分辨率处 理装置。

背景技术

TV影像由1秒30张以上的被称为帧的静止图像构成，各帧存在如下的问题：无论数 字还是模拟虽然不会模糊到不鲜明的程度但包含光学模糊或污点这种劣化了的信息。

图1表示构成实际的TV影像的帧所含有的光学劣化信息的1例。图1由2张图像构 成，左侧的图像是仅由X射线针孔照相机的TV影像的Y(亮度成分)构成的1帧，而右侧的图像 是将左侧的图像通过本发明人发明的已注册的超分辨率技术(专利文献1～2)复原成劣化 前的图像。在对图1的两图像进行比较时，构成实际的TV影像的帧即TV影像含有光学劣化信 息，需要超分辨率。

本发明人发明的超分辨率技术(专利文献1～2)是如下的技术：在根据包含光学模 糊或污点这种劣化信息在内的1张静止图像的信息反复进行迭代运算的过程中，利用Bayse 法通过数值运算求出静止图像的亮度分布的最大似然的最大似然劣化原因及最大似然复 原图像的亮度分布即锐化图像，但这种技术存在如下的问题：计算所需的运算处理量庞大， 对于需要实时处理的TV影像进行处理很困难。

以往的面向TV影像的超分辨率技术之一有“再构成型超分辨率”方法，并被产品 化，这种方法着眼于构成TV影像的多帧内的同一被拍摄体，通过将同一被拍摄体对位来使 多帧重合，并实施超分辨率化(专利文献3、4)。

但是，在动作激烈的情况或画面拉近/拉远剧烈的情况等被拍摄体的大小大幅度 变化或在多帧中没有拍摄到被拍摄体，在这种情况下，存在如下的问题：基于“再构成型超 分辨率”方法的超分辨率变得困难。

作为另一种方法，如非专利文献1那样有如下的方法：基于由摄像机得到的视角相 互稍有不同的连续的多张静止图像，进行Bayes统计处理，以得到被超分辨率化的静止图 像。

但是，在该方法中，始终需要大量的用于存储多张包含劣化信息的静止图像的存 储器，而且，为得到1张被超分辨率化的静止图像，始终需要处理多张静止图像，从而存在计 算变得庞大、不能处理TV影像的问题。

现有技术文献

专利文献

专利文献1：国际公开号：专利第4568730号(WO2006/041127)

专利文献2：国际公开号：专利第4575387号(WO2006/041126)

专利文献3：专利公开号：日本特开2009-296410

专利文献4：专利公开号：日本特开2009-100407

非专利文献1：兼村厚范等“贝叶斯超分辨率和分层建模”日本神经回路学会志， vol.15，No.3(2008)，181-192

发明内容

在专利文献1～4及非专利文献1记载的任一个方法中，均存在基于包含光学模糊 或污点这种劣化信息在内的仅1帧的信息无法对TV影像进行超分辨率处理的问题。

因此，本发明为解决上述问题，将提供用于对TV影像进行超分辨率处理的TV影像 的超分辨率处理方法、及实现该方法的TV影像的超分辨率处理装置作为课题。

为解决上述课题，本发明的第一发明提供一种面向TV影像的第一超分辨率处理方 法，输出减少构成TV影像的1帧的光学劣化以复原成劣化前的帧的超分辨率TV影像信号，由 此来复原TV影像。该第一发明与技术方案1所述的发明相同。

本发明的第一发明的面向TV影像的第一超分辨率处理方法具有：(S1)第一劣化图 像准备工序，根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布；(S2)将劣 化图像的亮度分布作为复原图像初始值的推定亮度分布的工序；(S3)对PSF(PointSpread Function；点扩散函数)的亮度分布进行特定的第一PSF特定工序；(S4)将特定出的PSF的亮 度分布作为PSF初始值的推定亮度分布的工序；(S5)设定最大迭代运算次数的工序；(S6)将 对迭代运算次数进行计数的计数器重置的工序；(S7)第一复原图像初始值修正工序，复制 复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且， 针对在将PSF的亮度分布与修正复原图像初始值的推定亮度分布进行卷积运算时在修正复 原图像初始值的推定亮度分布的周边部产生的运算困难区域，基于PSF的亮度分布的图像 尺寸来计算运算困难区域，并复制运算困难区域的像素，将所复制的像素以相对于修正复 原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在边界的外侧，来对 修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度 分布；(S8)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；(S9) 将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第一函数的 工序；(S10)将第一函数进行反转而得到第二函数的工序；(S11)将第二函数乘以劣化图像 的亮度分布而得到第三函数的工序；(S12)求出修正复原图像初始值的推定亮度分布的反 转函数并将其作为第四函数的工序；(S13)将第四函数卷积第三函数而得到第五函数的工 序；(S14)将第五函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工 序；(S15)将复原PSF的推定亮度分布替换PSF初始值的推定亮度分布的工序；(S16)对计数 器累加1的工序；(S17)验证工序，对计数器的值超过最大迭代运算次数这一假设进行验证， 若验证结果为假则返回(S9)工序，若验证结果为真则将复原PSF的推定亮度分布作为最大 似然复原PSF的亮度分布进行输出；(S18)由(S1)～(S8)工序构成的PSF复原运算准备工序； (S19)由(S9)～(S17)工序构成的第一PSF复原运算工序；(S20)第一PSF复原工序，具有PSF 复原运算准备工序及第一PSF复原运算工序，在PSF复原运算准备工序及第一PSF复原运算 工序中，通过以S的序数从小到大的顺序执行来完成最大迭代运算次数的迭代运算，并输出 最大似然复原PSF的亮度分布；(S21)重置计数器再向(S23)跳转的工序；(S22)第二复原图 像初始值修正工序，由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值 的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初 始值修正工序相同的处理顺序构成；(S23)将最大似然复原PSF的亮度分布卷积修正复原图 像初始值的推定亮度分布而得到第六函数的工序；(S24)将第六函数进行反转而得到第七 函数的工序；(S25)将第七函数乘以劣化图像的亮度分布而得到第八函数的工序；(S26)求 出最大似然复原PSF的亮度分布的反转函数并将其作为第九函数的工序；(S27)将第九函数 卷积第八函数而得到第十函数的工序；(S28)将第十函数乘以复原图像初始值的推定亮度 分布而得到复原图像的推定亮度分布的工序；(S29)将复原图像的推定亮度分布替换复原 图像初始值的推定亮度分布的工序；(S30)对计数器累加1的工序；(S31)验证工序，对计数 器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S22)工序，若验 证结果为真则将复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出； (S32)由(S21)工序构成的第一图像复原运算准备工序；(S33)由(S22)～(S31)工序构成的 第一图像复原运算工序；(S34)第一图像复原工序，具有第一图像复原运算准备工序及第一 图像复原运算工序，在第一图像复原运算准备工序及第一图像复原运算工序中，通过以S的 序数从小到大的顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复原图像 的亮度分布；以及(S35)第一TV影像化工序，对最大似然复原图像的亮度分布实施TV影像化 并输出1帧大小的超分辨率TV影像信号。

本发明的第二发明是作为构成第一发明的面向TV影像的第一超分辨率处理方法 的第一PSF复原运算工序的第二方式的第二PSF复原运算工序，与技术方案2所述的发明相 同。第一PSF复原运算工序的第二方式具有：(S40)将PSF初始值的推定亮度分布卷积修正复 原图像初始值的推定亮度分布而得到第十一函数的工序；(S41)将第十一函数进行反转而 得到第十二函数的工序；(S42)将第十二函数乘以劣化图像的亮度分布而得到第十三函数 的工序；(S43)求出修正复原图像初始值的推定亮度分布的反转函数并将其作为第十四函 数的工序；(S44)将第十四函数卷积第十三函数而得到第十五函数的工序；(S45)将第十五 函数乘以PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；(S46)将复原 PSF的推定亮度分布作为PSF初始值的推定亮度分布及复原PSF的推定亮度分布的最终值进 行输出的工序；(S47)单次PSF复原工序，具有(S40)～(S46)工序，通过以S的序数从小到大 的顺序按顺序进行处理来进行1次的迭代运算；以及(S48)通过将最大迭代运算次数的单次 PSF复原工序S47串联连接而构成的第二PSF复原运算工序，在第二PSF复原运算工序中，进 行与被串联连接的单次PSF复原工序的数量相当的次数的迭代运算，将从最终级的单次PSF 复原工序输出的复原PSF的推定亮度分布的最终值作为最大似然复原PSF的亮度分布进行 输出。

本发明的第三发明是作为构成第一发明的面向TV影像的第一超分辨率处理方法 的第一图像复原运算工序的第二方式的第二图像复原运算工序，与技术方案3所述的发明 相同。第一图像复原运算工序的第二方式具有：(S50)第三复原图像初始值修正工序，由与 基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正 而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理 顺序构成；(S51)将最大似然复原PSF的亮度分布卷积修正复原图像初始值的推定亮度分布 而得到第十六函数的工序；(S52)将第十六函数进行反转而得到第十七函数的工序；(S53) 将第十七函数乘以劣化图像的亮度分布而得到第十八函数的工序；(S54)求出最大似然复 原PSF的亮度分布的反转函数并将其作为第十九函数的工序；(S55)将第十九函数卷积第十 八函数而得到第二十函数的工序；(S56)第二十函数乘以复原图像初始值的推定亮度分布 而得到复原图像的推定亮度分布的工序；(S57)将复原图像的推定亮度分布作为复原图像 初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行输出的工序；(S58)第一 单次图像复原工序，具有(S50)～(S57)工序，通过以S的序数从小到大的顺序按顺序进行处 理来进行1次的迭代运算；以及(S59)通过将最大迭代运算次数的第一单次图像复原工序串 联连接而构成的第二图像复原运算工序，在第二图像复原运算工序中，进行与串联连接的 第一单次图像复原工序的数量相当的次数的迭代运算，将从最终级的第一单次图像复原工 序输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

本发明的第四发明是通过输出将构成TV影像的1帧的光学劣化减少而复原成劣化 前的帧的超分辨率TV影像信号来复原TV影像的面向TV影像的第二超分辨率处理方法，与技 术方案4所述的发明相同。面向TV影像的第二超分辨率处理方法具有：(S60)一边观察TV影 像一边对与TV影像的劣化状况相适的PSF的亮度分布进行特定的第二PSF特定工序；(S61) 根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布的第二劣化图像准备工 序；(S62)第四复原图像初始值修正工序，由与复制劣化图像的亮度分布并将其作为复原图 像初始值的推定亮度分布、而且基于PSF的亮度分布的图像尺寸对复原图像初始值的推定 亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修 正工序相同的处理顺序构成；(S63)将修正复原图像初始值的推定亮度分布作为劣化图像 的亮度分布的工序；(S64)设定最大迭代运算次数的工序；(S65)将对迭代运算次数进行计 数的计数器重置为零的工序；(S66)将特定出的PSF的亮度分布卷积修正复原图像初始值的 推定亮度分布而得到第二十一函数的工序；(S67)将第二十一函数进行反转而得到第二十 二函数的工序；(S68)将第二十二函数乘以劣化图像的亮度分布而得到第二十三函数的工 序；(S69)求出PSF的亮度分布的反转函数并将其作为第二十四函数的工序；(S70)将第二十 四函数卷积第二十三函数而得到第二十五函数的工序；(S71)将第二十五函数乘以复原图 像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S72)将复原图像的推 定亮度分布替换复原图像初始值的推定亮度分布的工序；(S73)对计数器累加1的工序； (S74)验证工序，对计数器的值为最大迭代运算次数以上这一假设进行验证，若验证结果为 假则跳转到(S75)工序，若验证结果为真则跳转到(S77)工序；(S75)第五复原图像初始值修 正工序，由与基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正 而得到修正复原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理 顺序构成；(S76)向S66跳转的工序；(S77)将复原图像的推定亮度分布作为最大似然复原图 像的亮度分布进行输出的工序；(S78)由(S60)～(S65)工序构成的第二图像复原运算准备 工序；(S79)由(S66)～(S77)工序构成的第三图像复原运算工序；(S80)第二图像复原工序， 具有第二图像复原运算准备工序及第三图像复原运算工序，通过以S的序数从小到大的顺 序执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及 (S81)将被最大似然化了的最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的 超分辨率TV影像信号的第二TV影像化工序。

本发明的第五发明是作为构成第四发明的面向TV影像的第二超分辨率处理方法 的第三图像复原运算工序的第二方式的第四图像复原运算工序，与技术方案5所述的发明 相同。第三图像复原运算工序的第二方式具有：(S85)第六复原图像初始值修正工序，由与 基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复 原图像初始值的推定亮度分布的第一复原图像初始值修正工序相同的处理顺序构成； (S86)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十六函数的 工序；(S87)将第二十六函数进行反转而得到第二十七函数的工序；(S88)将第二十七函数 乘以劣化图像的亮度分布而得到第二十八函数的工序；(S89)求出PSF的亮度分布的反转函 数并将其作为第二十九函数的工序；(S90)将第二十九函数卷积第二十八函数而得到第三 十函数的工序；(S91)将第三十函数乘以复原图像初始值的推定亮度分布而得到复原图像 的推定亮度分布的工序；(S92)将复原图像的推定亮度分布作为复原图像初始值的推定亮 度分布及复原图像的推定亮度分布的最终值进行输出的工序；(S93)第二单次图像复原工 序，具有(S85)～(S92)工序，通过以S的序数从小到大的顺序进行处理，进行1次的迭代运 算；(S94)通过将最大迭代运算次数的第二单次图像复原工序串联连接而构成的第四图像 复原运算工序，在该第四图像复原运算工序中，进行与串联连接的第二单次图像复原工序 的数量相当的次数的迭代运算，将从最终级的第二单次图像复原工序输出的复原图像的推 定亮度分布的最终值作为最大似然复原图像的亮度分布进行输出。

本发明的第六发明是作为构成第四发明的面向TV影像的第二超分辨率处理方法 的第三图像复原运算工序的第三方式的第五图像复原运算工序，与技术方案6所述的发明 相同。第三图像复原运算工序的第三方式具有：(S100)将对迭代运算次数进行计数的计数 器重置的工序；(S101)验证工序，对计数器的值为零以外这一假设进行验证，若验证结果为 假则向(S102)跳转，若验证结果为真则向(S103)跳转；(S102)将劣化图像的亮度分布传送 到劣化图像的亮度分布保存用缓冲器及复原图像初始值的推定亮度分布用缓冲器的工序； (S103)从复原图像初始值的推定亮度分布用缓冲器读取复原图像初始值的推定亮度分布 的工序；(S104)第七复原图像初始值修正工序，由与基于PSF的亮度分布的图像尺寸对复原 图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一 复原图像初始值修正工序相同的处理顺序构成；(S105)将PSF的亮度分布卷积修正复原图 像初始值的推定亮度分布而得到第三十一函数的工序；(S106)将第三十一函数进行反转而 得到第三十二函数的工序；(S107)将第三十二函数乘以劣化图像的亮度分布而得到第三十 三函数的工序；(S108)求出PSF的亮度分布的反转函数并将其作为第三十四函数的工序； (S109)将第三十四函数卷积第三十三函数而得到第三十五函数的工序；(S110)将第三十五 函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S111) 对计数器累加1的工序；(S112)验证工序，对计数器的值超过最大迭代运算次数这一假设进 行验证，若验证结果为假则向(S113)跳转，若验证结果为真则向(S115)跳转；(S113)将复原 图像的推定亮度分布传送到复原图像初始值的推定亮度分布用缓冲器的工序；(S114)向 (S103)跳转的工序；(S115)将复原图像的推定亮度分布作为最大似然复原图像的亮度分布 进行输出的工序；(S116)第五图像复原运算工序，具有(S110)～(S115)的工序，通过以S的 序数从小到大的顺序按顺序执行来完成最大迭代运算次数的迭代运算，并输出最大似然复 原图像的亮度分布。

本发明的第七发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法 的第一PSF特定工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二PSF特 定工序，这些第一PSF特定工序及第二PSF特定工序具有：(S120)设定与在显示器中放映出 的TV影像的光学劣化程度相应的劣化指示数的工序；以及(S121)从PSF的亮度分布数据库 提取并输出与劣化指示数关联的PSF的亮度分布的工序。第七发明与技术方案7所述的发明 相同。

本发明的第八发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法 的第一劣化图像准备工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二 劣化图像准备工序，这些第一劣化图像准备工序及第二劣化图像准备工序具有：(S130)从1 帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取工序；(S131)延迟工序，将1帧大 小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输出；(S132)对RGB信 号进行YUV转换并作为YUV信号的YUV转换工序；(S133)Y劣化图像提取工序，在YUV信号内， 提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣化图像的亮度分布， 保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣化图像的分布；以及 (S134)去伽马处理工序，实施Y劣化图像的亮度分布的去伽马处理，并作为由1帧大小的亮 度分布构成的劣化图像的亮度分布进行输出。第八发明与技术方案8所述的发明相同。

本发明的第九发明是关于构成第一发明的面向TV影像的第一超分辨率处理方法 的第一TV影像化工序及构成第四发明的面向TV影像的第二超分辨率处理方法的第二TV影 像化工序，这些第一TV影像化工序及第二TV影像化工序具有：(S140)实施最大似然复原图 像的亮度分布的伽马处理的伽马处理工序；(S141)复原图像合成工序，将在Y劣化图像提取 工序中保持的U劣化图像的分布和V劣化图像的分布、以及由Y成分构成的伽马处理后的最 大似然复原图像的亮度分布合成1张YUV复原图像的分布；(S142)进行YUV复原图像的分布 的RGB转换并作为RGB复原图像的分布的RGB转换工序；(S143)读取RGB复原图像的分布并输 出RGB信号的RGB信号转换工序；以及(S144)TV影像信号合成工序，将RGB信号与在延迟工序 中输出的除了RGB信号以外的1帧大小的TV影像信号合成而作为1帧大小的超分辨率TV影像 信号并进行输出。第九发明与技术方案9所述的发明相同。

本发明的第十发明是关于构成第一～第三发明的面向TV影像的第一超分辨率处 理方法的PSF的亮度分布及构成第四～第五发明的面向TV影像的第二超分辨率处理方法的 PSF的亮度分布，该PSF的亮度分布由没有边缘的正方形状的同一尺寸的像素构成，是中心 最亮的二维正态分布，其尺寸为5×5像素。第十发明与技术方案10所述的发明相同。

本发明的第十一发明是用于执行构成第一发明的面向TV影像的第一超分辨率处 理方法的第一PSF复原工序及第一图像复原工序内的全部工序的第一超分辨率处理程序， 与技术方案11所述的发明相同。

本发明的第十二发明是用于执行构成第一～第二发明的面向TV影像的第一超分 辨率处理方法的PSF复原运算准备工序、第二PSF复原运算工序及第一图像复原工序内的全 部工序的第二超分辨率处理程序，与技术方案12所述的发明相同。

本发明的第十三发明是用于执行构成第一及第三发明的面向TV影像的第一超分 辨率处理方法的第一PSF复原工序、第一图像复原运算准备工序及第二图像复原运算工序 内的全部工序的第三超分辨率处理程序，与技术方案13所述的发明相同。

本发明的第十四发明是用于执行构成第一～第三发明的面向TV影像的第一超分 辨率处理方法的PSF复原运算准备工序、第二PSF复原运算工序、第一图像复原运算准备工 序及第二图像复原运算工序内的全部工序的第四超分辨率处理程序，与技术方案14所述的 发明相同。

本发明的第十五发明是用于执行构成第四发明的面向TV影像的第二超分辨率处 理方法的第二图像复原工序内的全部工序的第五超分辨率处理程序，与技术方案15所述的 发明相同。

本发明的第十六发明是用于执行构成第四～第五发明的面向TV影像的第二超分 辨率处理方法的第二图像复原运算准备工序及第四图像复原运算工序内的全部工序的第 六超分辨率处理程序，与技术方案16所述的发明相同。

本发明的第十七发明是用于执行构成第四及第六发明的面向TV影像的第二超分 辨率处理方法的第二图像复原运算准备工序及第五图像复原运算工序内的全部工序的第 七超分辨率处理程序，与技术方案17所述的发明相同。

本发明的第十八发明是关于使用第一、第七～第十发明的面向TV影像的第一超分 辨率处理方法，通过输出将构成TV影像的1帧的光学劣化减少来复原成劣化前的帧的超分 辨率TV影像信号来复原TV影像的面向TV影像的第一超分辨率处理装置，该面向TV影像的第 一超分辨率处理装置具有：(W1)根据TV影像准备由1帧大小的亮度分布构成的劣化图像的 亮度分布的第一劣化图像准备单元；(W2)将劣化图像的亮度分布作为复原图像初始值的推 定亮度分布的单元；(W3)对PSF的亮度分布进行特定的第一PSF特定单元；(W4)将特定出的 PSF的亮度分布作为PSF初始值的推定亮度分布的单元；(W5)设定最大迭代运算次数的单 元；(W6)将对迭代运算次数进行计数的计数器重置的单元；(W7)第一复原图像初始值修正 单元，其复制复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度 分布，而且对于在对将PSF的亮度分布与修正复原图像初始值的推定亮度分布进行卷积运 算时在修正复原图像初始值的推定亮度分布的周边部发生的运算困难区域，基于PSF的亮 度分布的图像尺寸来计算运算困难区域，并复制运算困难区域的像素，将该复制的像素以 相对于修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在边 界的外侧，并对修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初 始值的推定亮度分布；(W8)将修正复原图像初始值的推定亮度分布作为劣化图像的亮度分 布的单元；(W9)将PSF初始值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而 得到第三十六函数的单元；(W10)将第三十六函数进行反转而得到第三十七函数的单元； (W11)将第三十七函数乘以劣化图像的亮度分布而得到第三十八函数的单元；(W12)求出修 正复原图像初始值的推定亮度分布的反转函数并将其作为第三十九函数的单元；(W13)将 第三十九函数卷积第三十八函数而得到第四十函数的单元；(W14)将第四十函数乘以PSF初 始值的推定亮度分布而得到复原PSF的推定亮度分布的单元；(W15)将复原PSF的推定亮度 分布替换PSF初始值的推定亮度分布的单元；(W16)对计数器累加1的单元；(W17)验证单元， 对计数器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则返回(W9)单 元，若验证结果为真则将复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输 出；(W18)由(W1)～(W8)的单元构成的PSF复原运算准备单元；(W19)由(W9)～(W17)的单元 构成的第一PSF复原运算单元；(W20)第一PSF复原单元，在PSF复原运算准备单元及第一PSF 复原运算单元中，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数的迭代运 算，并输出最大似然复原PSF的亮度分布；(W21)重置计数器，再跳转到(W23)的单元；(W22) 第二复原图像初始值修正单元，其由与基于最大似然复原PSF的亮度分布的图像尺寸对复 原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第 一复原图像初始值修正单元相同的处理顺序构成；(W23)将最大似然复原PSF的亮度分布卷 积修正复原图像初始值的推定亮度分布而得到第四十一函数的单元；(W24)将第四十一函 数进行反转而得到第四十二函数的单元；(W25)将第四十二函数乘以劣化图像的亮度分布 而得到第四十三函数的单元；(W26)求出最大似然复原PSF的亮度分布的反转函数并将其作 为第四十四函数的单元；(W27)将第四十四函数卷积第四十三函数而得到第四十五函数的 单元；(W28)将第四十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定 亮度分布的单元；(W29)将复原图像的推定亮度分布替换复原图像初始值的推定亮度分布 的单元；(W30)对计数器累加1的单元；(W31)验证单元，对计数器的值超过最大迭代运算次 数这一假设进行验证，若验证结果为假则返回(W22)单元，若验证结果为真则将复原图像的 推定亮度分布作为最大似然复原图像的亮度分布进行输出；(W32)由(W21)单元构成的第一 图像复原运算准备单元；(W33)由(W22)～(W31)单元构成的第一图像复原运算单元；(W34) 第一图像复原单元，其在第一图像复原运算准备单元及第一图像复原运算单元中，通过以S 的序数从小到大地执行而完成最大迭代运算次数的迭代运算，并输出最大似然复原图像的 亮度分布；(W35)对最大似然复原图像的亮度分布实施TV影像化而输出1帧大小的超分辨率 TV影像信号的第一TV影像化单元。第十八发明与技术方案18所述的发明相同。

本发明的第十九发明关于构成第十八发明的面向TV影像的第一超分辨率处理装 置的第一PSF复原单元的第二方式，该第一PSF复原单元的第二方式具有：(W40)将PSF初始 值的推定亮度分布卷积修正复原图像初始值的推定亮度分布而得到第四十六函数的单元； (W41)将第四十六函数进行反转而得到第四十七函数的单元；(W42)将第四十七函数乘以劣 化图像的亮度分布而得到第四十八函数的单元；(W43)求出修正复原图像初始值的推定亮 度分布的反转函数并将其作为第四十九函数的单元；(W44)将第四十九函数卷积第四十八 函数而得到第五十函数的单元；(W45)将第五十函数乘以PSF初始值的推定亮度分布而得到 复原PSF的推定亮度分布的单元；(W46)将复原PSF的推定亮度分布作为PSF初始值的推定亮 度分布及复原PSF的推定亮度分布的最终值并进行输出的单元；(W47)单次PSF复原单元，其 具有(W40)～(W46)单元，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代 运算；以及(W48)通过将最大迭代运算次数的单次PSF复原单元串联连接而构成的第二PSF 复原运算单元，在所述第二PSF复原运算单元中，进行与串联连接的单次PSF复原单元的数 量相当的次数的迭代运算，并将从最终级的单次PSF复原单元输出的复原PSF的推定亮度分 布的最终值作为最大似然复原PSF的亮度分布进行输出。第十九发明与技术方案19所述的 发明相同。

本发明的第二十发明关于构成第十八发明的面向TV影像的第一超分辨率处理装 置的第一图像复原单元的第二方式，该第一图像复原单元的第二方式具有：(W50)第三复原 图像初始值修正单元，其由与基于最大似然复原PSF的亮度分布的图像尺寸对复原图像初 始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图 像初始值修正单元相同的结构构成；(W51)将最大似然复原PSF的亮度分布卷积修正复原图 像初始值的推定亮度分布而得到第五十一函数的单元；(W52)将第五十一函数进行反转而 得到第五十二函数的单元；(W53)将第五十二函数乘以劣化图像的亮度分布而得到第五十 三函数的单元；(W54)求出最大似然复原PSF的亮度分布的反转函数并将其作为第五十四函 数的单元；(W55)将第五十四函数卷积第五十三函数而得到第五十五函数的单元；(W56)将 第五十五函数乘以复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的单 元；(W57)将复原图像的推定亮度分布作为复原图像初始值的推定亮度分布及复原图像的 推定亮度分布的最终值进行输出的单元；(W58)第一单次图像复原单元，其具有(W50)～ (W57)单元，以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算；(W59)通过 将最大迭代运算次数的第一单次图像复原单元串联连接而构成的第二图像复原运算单元， 在所述第二图像复原运算单元中，进行与串联连接的第一单次图像复原单元的数量相当的 次数的迭代运算，将从最终级的第一单次图像复原单元输出的复原图像的推定亮度分布的 最终值作为最大似然复原图像的亮度分布进行输出。第二十发明与技术方案20所述的发明 相同。

本发明的第二十一发明关于根据第四、第七～第十发明的面向TV影像的第二超分 辨率处理方法通过输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨 率TV影像信号来复原TV影像的面向TV影像的第二超分辨率处理装置，该面向TV影像的第二 超分辨率处理装置具有：(W60)一边观察TV影像一边对与TV影像的劣化状况相适的PSF的亮 度分布进行特定的第二PSF特定单元；(W61)根据TV影像准备由1帧大小的亮度分布构成的 劣化图像的亮度分布的第二劣化图像准备单元；(W62)第四复原图像初始值修正单元，其由 与复制劣化图像的亮度分布并将其作为复原图像初始值的推定亮度分布、而且基于PSF的 亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初 始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成；(W63)将修正 复原图像初始值的推定亮度分布作为劣化图像的亮度分布的单元；(W64)设定最大迭代运 算次数的单元；(W65)将对迭代运算次数进行计数的计数器重置为零的单元；(W66)将特定 出的PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第二十一函数的单 元；(W67)将第二十一函数进行反转而得到第二十二函数的单元；(W68)将第二十二函数乘 以劣化图像的亮度分布而得到第二十三函数的单元；(W69)求出PSF的亮度分布的反转函数 并将其作为第二十四函数的单元；(W70)将第二十四函数卷积第二十三函数而得到第二十 五函数的单元；(W71)将第二十五函数乘以复原图像初始值的推定亮度分布而得到复原图 像的推定亮度分布的单元；(W72)将复原图像的推定亮度分布替换复原图像初始值的推定 亮度分布的单元；(W73)对计数器累加1的单元；(W74)验证单元，对计数器的值为最大迭代 运算次数以上这一假设进行验证，若验证结果为假则跳转到(W75)单元，若验证结果为真则 跳转到(W77)单元；(W75)第五复原图像初始值修正单元，其由与基于PSF的亮度分布的图像 尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度 分布的第一复原图像初始值修正单元相同的处理顺序构成；(W76)跳转到W66的单元；(W77) 将复原图像的推定亮度分布作为最大似然复原图像的亮度分布输出的单元；(W78)由(W60) ～(W65)单元构成的第二图像复原运算准备单元；(W79)由(W66)～(W77)单元构成的第三图 像复原运算单元；(W80)第二图像复原单元，其具有第二图像复原运算准备单元及第三图像 复原运算单元，通过以S的序数从小到大的顺序执行而完成最大迭代运算次数的迭代运算， 并输出最大似然复原图像的亮度分布；以及(W81)将最大似然复原图像的亮度分布实施TV 影像化而输出1帧大小的超分辨率TV影像信号的第二TV影像化单元。第二十一发明与技术 方案21所述的发明相同。

本发明的第二十二发明是关于构成第二十一发明的面向TV影像的第二超分辨率 处理装置的第三图像复原单元的第二方式，该第三图像复原单元的第二方式具有：(W85)第 六复原图像初始值修正单元，其由与基于PSF的亮度分布的图像尺寸对复原图像初始值的 推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布的第一复原图像初始 值修正单元相同的处理顺序构成；(W86)将PSF的亮度分布卷积修正复原图像初始值的推定 亮度分布而得到第六十一函数的单元；(W87)将第六十一函数进行反转而得到第六十二函 数的单元；(W88)将第六十二函数乘以劣化图像的亮度分布而得到第六十三函数的单元； (W89)求出PSF的亮度分布的反转函数并将其作为第六十四函数的单元；(W90)将第六十四 函数卷积第六十三函数而得到第六十五函数的单元；(W91)将第六十五函数乘以复原图像 初始值的推定亮度分布而得到复原图像的推定亮度分布的单元；(W92)将复原图像的推定 亮度分布作为复原图像初始值的推定亮度分布及复原图像的推定亮度分布的最终值进行 输出的单元；(W93)第二单次图像复原单元，其具有(W85)～(W92)单元，通过以S的序数从小 到大的顺序进行处理而进行1次的迭代运算；(W94)通过将最大迭代运算次数的第二单次图 像复原单元串联连接而构成的第四图像复原运算单元，在第四图像复原运算单元中，进行 与串联连接的第二单次图像复原单元的数量相当的次数的迭代运算，将从最终级的第二单 次图像复原单元输出的复原图像的推定亮度分布的最终值作为最大似然复原图像的亮度 分布进行输出。第二十二发明与技术方案22所述的发明相同。

本发明的第二十三发明是关于构成第二十一发明的面向TV影像的第二超分辨率 处理装置的第三图像复原单元的第三方式，该第三图像复原单元的第三方式具有：(W100) 将对迭代运算次数进行计数的计数器重置的单元；(W101)验证单元，对计数器的值为零以 外这一假设进行验证，若验证结果为假则跳转到(W102)，若验证结果为真则跳转到(W103)； (W102)将劣化图像的亮度分布传送到劣化图像的亮度分布保存用缓冲器及复原图像初始 值的推定亮度分布用缓冲器的单元；(W103)从复原图像初始值的推定亮度分布用缓冲器读 取复原图像初始值的推定亮度分布的单元；(W104)第七复原图像初始值修正单元，其由与 基于PSF的亮度分布的图像尺寸对复原图像初始值的推定亮度分布进行修正而得到修正复 原图像初始值的推定亮度分布的第一复原图像初始值修正单元相同的处理顺序构成； (W105)将PSF的亮度分布卷积修正复原图像初始值的推定亮度分布而得到第三十一函数的 单元；(W106)对第三十一函数进行反转而得到第三十二函数的单元；(W107)将第三十二函 数乘以劣化图像的亮度分布而得到第三十三函数的单元；(W108)求出PSF的亮度分布的反 转函数并将其作为第三十四函数的单元；(W109)将第三十四函数卷积第三十三函数而得到 第三十五函数的单元；(W110)将第三十五函数乘以复原图像初始值的推定亮度分布而得到 复原图像的推定亮度分布的单元；(W111)对计数器累加1的单元；(W112)验证单元，对计数 器的值超过最大迭代运算次数这一假设进行验证，若验证结果为假则跳转到(W113)，若验 证结果为真则跳转到(W115)；(W113)将复原图像的推定亮度分布传送到复原图像初始值的 推定亮度分布用缓冲器的单元；(W114)跳转到(W103)的单元；(W115)将复原图像的推定亮 度分布作为最大似然复原图像的亮度分布进行输出的单元；(W116)第五图像复原运算单 元，其具有(W100)～(W115)单元，通过以W的序数从小到大的顺序按顺序执行而完成最大迭 代运算次数的迭代运算，并输出最大似然复原图像的亮度分布。第二十三发明与技术方案 23所述的发明相同。

本发明的第二十四发明是关于构成第十八发明的面向TV影像的第一超分辨率处 理装置的第一PSF特定单元及构成第二十一发明的面向TV影像的第二超分辨率处理装置的 第二PSF特定单元，这些第一PSF特定单元及第二PSF特定单元具有：(W120)设定与在显示器 中放映出的TV影像的光学劣化程度相应的劣化指示数的单元；以及(W121)从PSF数据库提 取与劣化指示数关联的PSF的亮度分布的单元。第二十四发明与技术方案24所述的发明相 同。

本发明的第二十五发明是关于构成第十八发明的面向TV影像的第一超分辨率处 理装置的第一劣化图像准备单元及构成第二十一发明的面向TV影像的第二超分辨率处理 装置的第二劣化图像准备单元，这些第一劣化图像准备单元及第二劣化图像准备单元具 有：(W130)从1帧大小的TV影像信号取出构成帧的RGB信号的RGB信号提取单元；(W131)延迟 单元，其将1帧大小的TV影像信号内、取出RGB信号后剩余的TV影像信号延迟1帧大小地输 出；(W132)对RGB信号进行YUV转换并作为YUV信号的YUV转换单元；(W133)Y劣化图像提取单 元，其在YUV信号内，提取仅由作为亮度成分的Y信号构成的劣化图像的亮度分布并作为Y劣 化图像的亮度分布，保持仅由剩余的U信号构成的U劣化图像的分布及仅由V信号构成的V劣 化图像的分布；以及(W134)去伽马处理单元，其实施Y劣化图像的亮度分布的去伽马处理， 并作为由1帧大小的亮度分布构成的劣化图像的亮度分布进行输出。第二十五发明与技术 方案25所述的发明相同。

本发明的第二十六发明是关于构成第十八发明的面向TV影像的第一超分辨率处 理装置的第一TV影像化单元及构成第二十一发明的面向TV影像的第二超分辨率处理装置 的第二TV影像化单元，这些第一TV影像化单元及第二TV影像化单元具有：(W140)实施最大 似然复原图像的亮度分布的伽马处理的伽马处理单元；(W141)复原图像合成单元，其将由Y 劣化图像提取单元保持的U劣化图像的分布和V劣化图像的分布、以及由Y成分构成的伽马 处理后的最大似然复原图像的亮度分布合成1张YUV复原图像的分布；(W142)进行YUV复原 图像的分布的RGB转换并作为RGB复原图像的分布的RGB转换单元；(W143)读取RGB复原图像 的分布并输出RGB信号的RGB信号转换单元；以及(W144)TV影像信号合成单元，其将RGB信号 与由延迟单元所输出的除了RGB信号以外的1帧大小的TV影像信号合成而作为1帧大小的超 分辨率TV影像信号并进行输出。第二十六发明与技术方案26所述的发明相同。

本发明的第二十七发明是构成了构成第十八发明的面向TV影像的第一超分辨率 处理装置的第一PSF复原单元及第一图像复原单元内的全部单元、且使这些全部单元被执 行的第一超分辨率处理装置程序。第二十七发明与技术方案27所述的发明相同。

本发明的第二十八发明是构成了构成第十八～第十九发明的面向TV影像的第一 超分辨率处理装置的PSF复原运算准备单元、第二PSF复原运算单元及第一图像复原单元内 的全部单元、且使这些全部单元被执行的第二超分辨率处理装置程序。第二十八发明与技 术方案28所述的发明相同。

本发明的第二十九发明是构成了构成第十八、第二十发明的面向TV影像的第一超 分辨率处理装置的第一PSF复原单元、第一图像复原运算准备单元及第二图像复原运算单 元内的全部单元、且使这些全部单元被执行的第三超分辨率处理装置程序。第二十九发明 与技术方案29所述的发明相同。

本发明的第三十发明是构成了构成第十八～第二十发明的面向TV影像的第一超 分辨率处理装置的PSF复原运算准备单元、第二PSF复原运算单元、第一图像复原运算准备 单元及第二图像复原运算单元内的全部单元、且使这些全部单元被执行的第四超分辨率处 理装置程序。第三十发明与技术方案30所述的发明相同。

本发明的第三十一发明是构成了构成第二十一发明的面向TV影像的第二超分辨 率处理装置的第二图像复原单元内的全部单元、且使这些全部单元被执行的第五超分辨率 处理装置程序。第三十一发明与技术方案31所述的发明相同。

本发明的第三十二发明是构成了构成第二十一～第二十二发明的面向TV影像的 第二超分辨率处理装置的第二图像复原运算准备单元及第四图像复原运算单元内的全部 单元、且使这些全部单元被执行的第六超分辨率处理装置程序。第三十二发明与技术方案 32所述的发明相同。

本发明的第三十三发明是构成了构成第二十一、第二十二发明的面向TV影像的第 二超分辨率处理装置的第二图像复原运算准备单元及第五图像复原运算单元内的全部单 元、且使这些全部单元被执行的第七超分辨率处理装置程序。第三十三发明与技术方案33 所述的发明相同。

本发明的第三十四发明是一种第一存储介质，将用于执行第十一～第十四发明的 面向TV影像的第一超分辨率处理方法的第一超分辨率处理程序、第二超分辨率处理程序、 第三超分辨率处理程序及第四超分辨率处理程序分别独立地进行加密并独立地存储，在一 方被读取时，独立地读取并且在解密后进行提供，能够与计算机连接且能够由计算机读取。 第三十四发明与技术方案34所述的发明相同。

本发明的第三十五发明是一种第二存储介质，将用于执行第十五～第十七发明的 面向TV影像的第二超分辨率处理方法的第五超分辨率处理程序、第六超分辨率处理程序及 第七超分辨率处理程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取 并且在解密后进行提供，能够与计算机连接且能够由计算机读取。第三十五发明与技术方 案35所述的发明相同。

本发明的第三十六发明是一种第三存储介质，将构成第二十七～第三十发明的面 向TV影像的第一超分辨率处理装置内的全部单元且用于执行这些全部单元的第一超分辨 率处理装置程序、第二超分辨率处理装置程序、第三超分辨率处理装置程序及第四超分辨 率处理装置程序分别独立地进行加密并独立地存储，在一方被读取时，独立地读取并且在 解密后进行提供，能够与计算机连接且能够由计算机读取。第三十六发明与技术方案36所 述的发明相同。

本发明的第三十七发明是一种第四存储介质，将构成第三十一～三十三发明的面 向TV影像的第二超分辨率处理装置内的全部单元且用于执行这些全部单元的第五超分辨 率处理装置程序、第六超分辨率处理装置程序及第七超分辨率处理装置程序分别独立地进 行加密并独立地存储，在一方被读取时，独立地读取并且在解密后进行提供，能够与计算机 连接且能够由计算机读取。第三十七发明与技术方案37所述的发明相同。

发明的效果

仅根据TV影像的1帧的信息复原图像并连续地实施这种复原来进行TV影像的超分 辨率处理在以往是不可能的，但通过采用本发明，具有能够实现接近实时的处理的效果。另 外，本发明只要是TV方式的影像，无论什么射线源都可以，因此，可以是红外线相机或X射线 相机拍摄到的影像，还具有适用范围宽的效果。

附图说明

图1是表示构成实际的TV影像的帧所含有的光学劣化信息的1例的图。

图2是表示本发明的第一发明的面向TV影像的第一超分辨率处理方法中的处理顺 序的1例的流程图。

图3是表示本发明的第一复原图像初始值修正工序中所使用的修正处理顺序的1 例的图。

图4是表示本发明的第二发明的第二PSF复原运算工序中的处理顺序的1例的流程 图。

图5是表示本发明的第三发明的第二图像复原运算工序中的处理顺序的1例的流 程图。

图6是表示本发明的第四发明的与面向TV影像的第二超分辨率处理方法的处理顺 序相关的1例的流程图。

图7是表示本发明的第五发明的与第四图像复原运算工序的处理顺序相关的1例 的流程图。

图8是表示本发明的第六发明的与第五图像复原运算工序的处理顺序相关的1例 的流程图。

图9是表示本发明的第七发明的与第一PSF特定工序及第二PSF特定工序的处理顺 序相关的1例的流程图。

图10是表示本发明的PSF数据库内的数据的1例的图。

图11是表示本发明的第八发明的第一劣化图像准备工序及第二劣化图像准备工 序中的处理顺序的1例的流程图。

图12是表示本发明的第九发明的第一TV影像化工序及第二TV影像化工序中的处 理顺序的1例的流程图。

图13是表示本发明的第十发明的PSF的亮度分布的1例的图。

图14是表示本发明的第十八发明的与面向TV影像的第一超分辨率处理装置的结 构相关的1例的图。

图15是表示本发明的第十九发明的与第二PSF复原运算单元的结构相关的1例的 图。

图16是表示本发明的第二十发明的与第二图像复原运算单元的结构相关的1例的 图。

图17是表示本发明的第二十一发明的与面向TV影像的第二超分辨率处理装置的 结构相关的1例的图。

图18是表示本发明的第二十二发明的与第四图像复原运算单元的结构相关的1例 的图。

图19是表示本发明的第二十三发明的与第五图像复原运算单元的结构相关的1例 的图。

图20是表示本发明的第二十四发明的第一PSF特定单元及第二PSF特定单元的结 构相关的1例的图。

图21是表示本发明的第二十五发明的与第一劣化图像准备单元及第二劣化图像 准备单元的结构相关的1例的图。

图22是表示本发明的第二十六发明的与第一TV影像化单元及第二TV影像化单元 的结构相关的1例的图。

图23是表示本发明的实施例1的与面向TV影像的第一超分辨率处理系统的结构相 关的1例的图。

图24是表示本发明的第一超分辨率处理装置程序的构造及其安装情况的1例的 图。

图25是表示本发明的与超分辨率处理窗口的结构相关的1例的图。

图26是在本发明的面向TV影像的第一超分辨率处理系统中将执行超分辨率处理 的顺序的1例作为事务表(transactiontable)来表示的图。

图27是表示实施例1的超分辨率处理的状况的1例的图。

图28是表示实施例3的与第一机顶盒的内部的结构相关的1例的图。

图29是表示实施例3的第一机顶盒中的处理顺序的1例的流程图。

图30是表示实施例3的第一机顶盒的设定的状况的1例的图。

具体实施方式

针对实施本发明的最佳实施方式，适当地使用附图来进行说明。

在本发明中，劣化图像、PSF及复原图像分别由布满没有边缘的相同尺寸的正方形 的像素而构成的，各像素是由8位深度的红原色(R)、8位深度的绿原色(G)及8位深度的蓝原 色(B)构成的RGB彩色像素，在RGB是相同位数的情况下，成为灰度像素。在本发明中，PSF仅 由灰度像素构成。

在本发明中，劣化图像、PSF及复原图像是将左上角的像素作为原点，针对原点所 在行，将与不改变行地朝向横向的像素行平行的轴作为x轴，针对原点所在列，将与不改变 列地朝向纵向的像素列平行的轴作为y轴。劣化图像、PSF及复原图像内的全部的像素能够 通过(x，y)这样的二维坐标进行指定。

在本发明中，劣化图像及复原图像是相互相同的图像尺寸，具有相同的坐标。但 是，在本发明中，由于不对图像模糊成难以辨别的程度的情况进行处理，所以PSF的周边部 分大致为零，为削减计算次数，假设成立无论到劣化图像及复原图像内的何处，PSF的亮度 分布都不变化，PSF尺寸使用5像素乘5像素的尺寸。当然，只要是达到劣化图像的图像尺寸， 可以是任意的尺寸。

在本发明中，仅对PSF、劣化图像及复原图像分别由亮度成分构成的情况进行处 理，复原运算所使用的全部仅是亮度成分。其理由在于，运算次数减少以及色调不变。本发 明的方法与R、G、B单独复原的情况相比，能够确认超分辨率处理品质没有降低。

在本发明中，由于PSF、劣化图像及复原图像分别由亮度成分构成，所以将PSF称为 PSF的亮度分布、劣化图像的亮度分布及复原图像的推定亮度分布。由于复原图像的正确的 亮度分布不明确，所以被称为推定亮度分布。当利用本发明的面向TV影像的加速超分辨率 处理方法进行图像复原时，成为几乎收敛于没有光学劣化的状态的状态，几乎不逊色于原 图像，从而在为最大似然复原图像的情况下，采用亮度分布。

图2是将本发明的第一发明的面向TV影像的第一超分辨率处理方法中的处理顺序 的1例作为流程图进行了图示。

本发明的第一发明的面向TV影像的第一超分辨率处理方法的特征在于，具有如下 工序：(S1)第一劣化图像准备工序，根据TV影像2准备由1帧大小的亮度分布构成的劣化图 像的亮度分布1；(S2)将劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3的工 序；(S3)对PSF的亮度分布4进行特定的第一PSF特定工序；(S4)将特定出的PSF的亮度分布4 作为PSF初始值的推定亮度分布5的工序；(S5)设定最大迭代运算次数6的工序；(S6)将对迭 代运算次数进行计数的计数器重置的工序；(S7)第一复原图像初始值修正工序，复制复原 图像初始值的推定亮度分布3并将其作为修正复原图像初始值的推定亮度分布7，而且，针 对在将PSF的亮度分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复 原图像初始值的推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布的图 像尺寸来计算该运算困难区域8，并复制运算困难区域8的像素，将所复制的像素以相对于 修正复原图像初始值的推定亮度分布7的边界成为镜像对称地配置的方式粘贴在上述边界 的外侧，来对修正复原图像初始值的推定亮度分布7进行修正；(S8)将修正复原图像初始值 的推定亮度分布7作为劣化图像的亮度分布1的工序；(S9)将PSF初始值的推定亮度分布5卷 积修正复原图像初始值的推定亮度分布7而得到第一函数的工序；(S10)将第一函数进行反 转而得到第二函数的工序；(S11)将第二函数乘以劣化图像的亮度分布1而得到第三函数的 工序；(S12)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第四函数的 工序；(S13)将第四函数卷积第三函数而得到第五函数的工序；(S14)将第五函数乘以PSF初 始值的推定亮度分布5而得到复原PSF的推定亮度分布9的工序；(S15)将复原PSF的推定亮 度分布9替换PSF初始值的推定亮度分布5的工序；(S16)对计数器累加1的工序；(S17)对计 数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则返回(S9)工序，若 验证结果为真则将复原PSF的推定亮度分布9作为最大似然复原PSF的亮度分布10进行输出 的工序；(S18)由(S1)～(S8)工序构成的PSF复原运算准备工序；(S19)由(S9)～(S17)工序 构成的第一PSF复原运算工序；(S20)第一PSF复原工序，具有PSF复原运算准备工序S18及第 一PSF复原运算工序S19，在PSF复原运算准备工序S18及第一PSF复原运算工序S19中，通过 以S的序数从小到大的顺序执行，完成最大迭代运算次数6的迭代运算，输出最大似然复原 PSF的亮度分布10；(S21)重置计数器，再向(S23)跳转的工序；(S22)由与基于最大似然复原 PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正的第一复原图 像初始值修正工序相同的处理顺序构成的第二复原图像初始值修正工序；(S23)将最大似 然复原PSF的亮度分布10卷积复原图像初始值的推定亮度分布3而得到第六函数的工序； (S24)对第六函数进行反转而得到第七函数的工序；(S25)将第七函数乘以劣化图像的亮度 分布1而得到第八函数的工序；(S26)求出最大似然复原PSF的亮度分布10的反转函数并将 其作为第九函数的工序；(S27)将第九函数卷积第八函数而得到第十函数的工序；(S28)将 第十函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工 序；(S29)将复原图像的推定亮度分布11替换复原图像初始值的推定亮度分布3的工序； (S30)对计数器累加1的工序；(S31)对计数器的值超过最大迭代运算次数6这一假设进行验 证，若验证结果为假则返回(S22)工序，若验证结果为真则将复原图像的推定亮度分布11作 为最大似然复原图像的亮度分布12输出的工序；(S32)由(S21)工序构成的第一图像复原运 算准备工序；(S33)由(S22)～(S31)工序构成的第一图像复原运算工序；(S34)第一图像复 原工序，具有第一图像复原运算准备工序S32及第一图像复原运算工序S33，在第一图像复 原运算准备工序S32及第一图像复原运算工序S33中，通过以S的序数从小到大的顺序执行， 完成最大迭代运算次数6的迭代运算，输出最大似然复原图像的亮度分布12；(S35)第一TV 影像化工序，对最大似然复原图像的亮度分布12实施TV影像化并输出1帧大小的超分辨率 TV影像信号13。

第一PSF复原运算工序S19基于数学式1进行运算，根据特定出的PSF的亮度分布4、 由特定出的PSF的亮度分布4构成的PSF初始值的推定亮度分布5及劣化图像的亮度分布1， 推定劣化图像的亮度分布1的最大似然的最大似然复原PSF的亮度分布10。数学式1是将本 发明人发明并注册的专利文献2记载的数学式25以能够进行卷积运算的方式改写而成的。 数学式1的方法仅将实数作为运算对象，与专利文献2的数学式25的方法相比，不使用PSF的 亮度分布的傅立叶转换体即OTF(OpticalTransferFunction：光学传递函数)而使用PSF 的亮度分布，不考虑相位。由此，虽然复原精度降低，但TV影像模糊成辨别不出像的程度的 情况很少，因此使用基于数学式1的方法在实用上也是没有问题的。

[数学式1]

在数学式1中，F表示复原图像初始值的推定亮度分布3，G表示劣化图像的亮度分 布1，H表示PSF的亮度分布4，H的角标表示第k个值，标注了角标#的F表示复原图像的推定亮 度分布的反转函数，圆形标记中的星号标记表示卷积运算。另外，k是0以上的整数，k为零时 是初始值。

[数学式2]

第一图像复原运算工序S33基于数学式2进行运算，根据特定出的PSF的亮度分布 4、由劣化图像的亮度分布1构成的复原图像初始值的推定亮度分布3及劣化图像的亮度分 布1，复原劣化图像的亮度分布1的最大似然的最大似然复原图像的亮度分布12。数学式2是 将本发明人发明并注册的专利文献2记载的数学式15以能够进行卷积运算的方式改写而成 的。数学式2的方法仅将实数作为运算对象，与专利文献2的数学式15的方法相比，不使用 PSF的亮度分布的傅立叶转换体即OTF而使用PSF的亮度分布，不考虑相位。由此，虽然复原 精度降低，但TV影像模糊成辨别不出像的程度的情况很少，因此使用基于数学式2的方法在 实用上没有问题。

在数学式2中，F表示复原图像的推定亮度分布，F的角标表示第k个值，G表示劣化 图像的亮度分布，H表示在第一PSF复原工序中被复原的最大似然复原PSF的亮度分布，标注 了角标#的H表示最大似然复原PSF的亮度分布的反转函数，圆形标记中的星号标记表示卷 积运算。另外，k是0以上的整数，k为零时是初始值。

另外，在本发明中，TV影像模糊成辨别不出像的程度的情况很少，从而在数学式1 ～2的F₀即复原图像初始值的推定亮度分布3中，使用了劣化图像的亮度分布4。

本发明中所使用的卷积运算是指卷积积分。数学式3是一般的卷积积分的运算式 的1例，将F(i，j)卷积H(M，N)，其结果为G(i，j)。

[数学式3]

G(i,j)＝F(i，j)⊙H(M，N)···(3)

但是，在本发明中，由于将有限尺寸的图像的分布作为对象，所以数据呈离散值 化，对于卷积积分的运算使用线性卷积。数学式4是一般的线性卷积运算式的1例。

[数学式4]

$G(i,j)=\underset{N=-n}{\overset{n}{\Sigma }}\underset{M=-m}{\overset{m}{\Sigma }}F(i-M,j-N)·H(M,N)...\left(4\right)$

在数学式3～4中，i、j、m，n、M及N是整数。但是，基于数学式3～4的卷积运算会产生 能够由不超过进行卷积运算的矩阵尺寸的一半的最大的整数表现的运算困难区域。存在如 下问题：例如复原图像初始值的推定亮度分布F为100×100像素以上的尺寸，在向复原图像 初始值的推定亮度分布F卷积的PSF的亮度分布H为3×3矩阵尺寸的情况下，F的周边1像素 成为运算困难区域，在向F卷积的H为5×5矩阵尺寸的情况下，F的周边2像素成为运算困难 区域。

因此，本发明中使用的解决方法的1例是与所使用的H的尺寸相应地对运算困难区 域的像素是周边多少像素进行运算，将存在于该运算困难区域中的F的最外周的像素以成 为镜像对称的方式复制和粘贴在F的区域边界的外侧，创建新的像素，然后，通过变更最外 周的位置，也就是说，通过变更F的图像尺寸，使得在运算后不产生运算困难区域。此时，通 过从上边沿顺时针方向对每个边进行复制和粘贴，并通过将新产生的像素投入F本来的像 素，不会产生未被复制和粘贴的区域。例如，在H为5×5尺寸且F为W×L尺寸的情况下，在第 一次的复制和粘贴中，F由W×L尺寸成为W×(L+2)尺寸，在第二次的复制和粘贴中，F由W× (L+2)尺寸成为(W+2)×(L+2)尺寸，在第三次的复制和粘贴中，F由(W+2)×(L+2)尺寸成为 (W+2)×(L+4)尺寸，在第四次的复制和粘贴中，F由(W+2)×(L+4)尺寸成为(W+4)×(L+4)尺 寸。

图3是表示本发明的第一复原图像初始值修正工序S7中所使用的修正处理顺序的 1例。图3的修正处理顺序由6个步骤构成。这6个步骤是：(1)复制复原图像初始值的推定亮 度分布3并将其作为修正复原图像初始值的推定亮度分布7的步骤；(2)针对在将PSF的亮度 分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复原图像初始值的 推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布的图像尺寸来计算该 运算困难区域8的步骤；(3)复制与修正复原图像初始值的推定亮度分布7的上边相关的运 算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度分布7的上 边的边界成为镜像对称地配置的方式粘贴在该上边的边界的外侧的步骤；(4)复制与修正 复原图像初始值的推定亮度分布7的右边相关的运算困难区域8的像素，将该复制的像素以 相对于修正复原图像初始值的推定亮度分布7的右边的边界成为镜像对称地配置的方式粘 贴在该右边的边界的外侧的步骤；(5)复制与修正复原图像初始值的推定亮度分布7的下边 相关的运算困难区域8的像素，将该复制的像素以相对于修正复原图像初始值的推定亮度 分布7的下边的边界成为镜像对称地配置的方式粘贴在该下边的边界的外侧的步骤；(6)复 制与修正复原图像初始值的推定亮度分布7的左边相关的运算困难区域8的像素，将该复制 的像素以相对于修正复原图像初始值的推定亮度分布7的左边的边界成为镜像对称地配置 的方式粘贴在该左边的边界的外侧的步骤。由此，能够防止修正复原图像初始值的推定亮 度分布7的4角部的翻转部成为空白。

图4是将本发明的第二发明的第二PSF复原运算工序S48中的处理顺序的1例作为 流程图进行了图示。图4的第二PSF复原运算工序S48的特征在于，具有：(S40)将PSF初始值 的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得到第十一函数的工序； (S41)对第十一函数进行反转而得到第十二函数的工序；(S42)将第十二函数乘以劣化图像 的亮度分布1而得到第十三函数的工序；(S43)求出修正复原图像初始值的推定亮度分布7 的反转函数并将其作为第十四函数的工序；(S44)将第十四函数卷积第十三函数而得到第 十五函数的工序；(S45)将第十五函数乘以PSF初始值的推定亮度分布5而得到复原PSF的推 定亮度分布9的工序；(S46)将复原PSF的推定亮度分布9作为PSF初始值的推定亮度分布5及 复原PSF的推定亮度分布9的最终值14进行输出的工序；(S47)单次PSF复原工序，具有(S40) ～(S46)工序，通过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算， (S48)是通过将最大迭代运算次数6的单次PSF复原工序S47串联连接而构成的第二PSF复原 运算工序，在该第二PSF复原运算工序S48中，进行与被串联连接的单次PSF复原工序S47的 数量相当的次数的迭代运算，将从最终级的单次PSF复原工序S47-F输出的复原PSF的推定 亮度分布9的最终值14作为最大似然复原PSF的亮度分布10进行输出。

图5是将本发明的第三发明的第二图像复原运算工序S59中的处理顺序的1例作为 流程图进行了图示。图5的第二图像复原运算工序S59的特征在于，具有：(S50)由与基于最 大似然复原PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正而 得到修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺 序构成的第三复原图像初始值修正工序；(S51)将最大似然复原PSF的亮度分布10卷积修正 复原图像初始值的推定亮度分布7而得到第十六函数的工序；(S52)对第十六函数进行反转 而得到第十七函数的工序；(S53)第十七函数乘以劣化图像的亮度分布1而得到第十八函数 的工序；(S54)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第十九函数的工 序；(S55)将第十九函数卷积第十八函数而得到第二十函数的工序；(S56)第二十函数乘以 复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工序；(S57)将复原 图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的推定亮度分布 11的最终值15进行输出的工序；(S58)第一单次图像复原工序，具有(S50)～(S57)工序，通 过以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算，(S59)是通过将最大 迭代运算次数6的第一单次图像复原工序S58串联连接而构成的第二图像复原运算工序，在 该第二图像复原运算工序S59中，进行与串联连接的第一单次图像复原工序S58的数量相当 的次数的迭代运算，将从最终级的第一单次图像复原工序S58-F输出的复原图像的推定亮 度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

在本发明中，虽然能够通过软件及硬件实施面向TV影像的第一超分辨率处理方 法，但由于TV影像没有模糊成难以辨别的程度，所以不需要增大最大迭代运算次数6，将最 大迭代运算次数6设为12。在软件中，处理时间成为问题，而在硬件中，预先准备的单次PSF 复原工序S47及第一单次图像复原工序S58的次数成为问题。由于最大迭代运算次数6为12， 所以只要分别预先准备12个单次PSF复原工序S47及第一单次图像复原工序S58即可。

图6是将与本发明的第四发明的与面向TV影像的第二超分辨率处理方法的处理顺 序相关的1例作为流程图进行了图示。图6的面向TV影像的第二超分辨率处理方法的特征在 于，具有：(S60)一边观察TV影像2一边对与TV影像的劣化状况相适的PSF的亮度分布4进行 特定的第二PSF特定工序；(S61)根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的 亮度分布1的第二劣化图像准备工序；(S62)第四复原图像初始值修正工序，由与复制劣化 图像的亮度分布1并将其作为复原图像初始值的推定亮度分布3而且基于PSF的亮度分布4 的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推 定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成；(S63)将修正复原图像 初始值的推定亮度分布7作为劣化图像的亮度分布1的工序；(S64)设定最大迭代运算次数6 的工序；(S65)将计数迭代运算次数的计数器重置为零的工序；(S66)将修正复原图像初始 值的推定亮度分布7卷积PSF的亮度分布4而得到第二十一函数的工序，(S67)对第二十一函 数进行反转而得到第二十二函数的工序；(S68)第二十二函数乘以劣化图像的亮度分布1而 得到第二十三函数的工序；(S69)求出PSF的亮度分布4的反转函数并将其作为第二十四函 数的工序；(S70)将第二十四函数卷积第二十三函数而得到第二十五函数的工序；(S71)第 二十五函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的工 序；(S72)将复原图像的推定亮度分布11替换复原图像初始值的推定亮度分布的工序； (S73)对计数器累加1的工序；(S74)对计数器的值为最大迭代运算次数6以上这一假设进行 验证，若验证结果为假则跳转到(S75)工序，若验证结果为真则跳转到(S77)工序的工序； (S75)由与基于PSF的亮度分布4的图像尺寸修正复原图像初始值的推定亮度分布3而得到 修正复原图像初始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构 成的第五复原图像初始值修正工序；(S76)向S66跳转的工序；(S77)将复原图像的推定亮度 分布11作为最大似然复原图像的亮度分布12进行输出的工序；(S78)由(S60)～(S65)工序 构成的第二图像复原运算准备工序；(S79)由(S66)～(S77)工序构成的第三图像复原运算 工序；(S80)第二图像复原工序，具有第二图像复原运算准备工序及第三图像复原运算工 序，通过以S的序数从小到大的顺序执行，完成最大迭代运算次数6的迭代运算，并输出最大 似然复原图像的亮度分布12；(S81)对最大似然复原图像12的亮度分布实施TV影像化并输 出1帧大小的超分辨率TV影像信号13的第二TV影像化工序。

图7是将本发明的第五发明的与第四图像复原运算工序S94的处理顺序相关的1例 作为流程图进行了图示。图7的第四图像复原运算工序S94的特征在于，具有：(S85)与基于 PSF的亮度分布4的图像尺寸修正复原图像初始值的推定亮度分布3而得到修正复原图像初 始值的推定亮度分布7的第一复原图像初始值修正工序相同的处理顺序构成的第六复原图 像初始值修正工序；(S86)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而 得到第二十六函数的工序；(S87)对第二十六函数进行反转而得到第二十七函数的工序； (S88)第二十七函数乘以劣化图像的亮度分布1而得到第二十八函数的工序；(S89)求出PSF 的亮度分布4的反转函数并将其作为第二十九函数的工序；(S90)将第二十九函数卷积第二 十八函数而得到第三十函数的工序；(S91)第三十函数乘以复原图像初始值的推定亮度分 布3而得到复原图像的推定亮度分布11的工序；(S92)将复原图像的推定亮度分布11作为复 原图像初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的工 序；(S93)第二单次图像复原工序，具有(S85)～(S92)工序，通过以S的序数从小到大的顺序 进行处理，进行1次的迭代运算，(S94)是通过将最大迭代运算次数6的第二单次图像复原工 序S93串联连接而构成的第四图像复原运算工序，在该第四图像复原运算工序S94中，进行 与串联连接的第二单次图像复原工序S93的数量相当的次数的迭代运算，将从最终级的第 二单次图像复原工序S93-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复 原图像的亮度分布12进行输出。

图8是将本发明的第六发明的与第五图像复原运算工序S116的处理顺序相关的1 例作为流程图进行了图示。图8的第五图像复原运算工序S116的特征在于，具有：(S100)将 对迭代运算次数进行计数的计数器重置的工序；(S101)对计数器的值为零以外这种假设进 行验证，若验证结果为假则向(S102)跳转，若验证结果为真则向(S103)跳转的工序；(S102) 将劣化图像的亮度分布1传送至劣化图像的亮度分布保存用缓冲器16及复原图像初始值的 推定亮度分布用缓冲器17的工序；(S103)从复原图像初始值的推定亮度分布用缓冲器17读 取复原图像初始值的推定亮度分布3的工序；(S104)由与基于PSF的亮度分布4的图像尺寸 对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布 7的第一复原图像初始值修正工序相同的处理顺序构成的第七复原图像初始值修正工序； (S105)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第三十一函数 的工序；(S106)对第三十一函数进行反转而得到第三十二函数的工序；(S107)第三十二函 数乘以劣化图像的亮度分布1而得到第三十三函数的工序；(S108)求出PSF的亮度分布4的 反转函数并将其作为第三十四函数的工序；(S109)将第三十四函数卷积第三十三函数而得 到第三十五函数的工序；(S110)第三十五函数乘以复原图像初始值的推定亮度分布3而得 到复原图像的推定亮度分布11的工序；(S111)对计数器累加1的工序；(S112)对计数器的值 超过最大迭代运算次数6这一假设进行验证，若验证结果为假则向(S113)跳转，若验证结果 为真则向(S115)跳转的工序；(S113)将复原图像的推定亮度分布11传送至复原图像初始值 的推定亮度分布用缓冲器17的工序；(S114)向(S103)跳转的工序；(S115)将复原图像的推 定亮度分布11作为最大似然复原图像的亮度分布12进行输出的工序；(S116)第五图像复原 运算工序，具有(S100)～(S115)的工序，通过以S的序数从小到大的顺序按顺序执行，完成 最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12。

图9是将本发明的第七发明的与第一PSF特定工序S3及第二PSF特定工序S60的处 理顺序相关的1例作为流程图进行了图示。图9的第一PSF特定工序S3及第二PSF特定工序 S60的特征在于，具有：(S120)设定与在显示器中放映出的TV影像2的光学劣化程度相应的 劣化指示数18的工序；(S121)从PSF的亮度分布数据库19提取并输出与劣化指示数18关联 的PSF的亮度分布4的工序。

图10图示了本发明的PSF数据库19内的数据的1例。PSF数据库19是按每个路径1对 1地对256阶的劣化指示数18与PSF的亮度分布4的图像文件名20建立关联而构成的，在图10 的例子中是表格。该表格例如保存于CSV文件或阵列。另外，在图10的例子中，路径是驱动器 ￥目录￥文件名这样的构造，例如，若劣化指示数18为1，则表示PSF的亮度分布4的图像文 件名20的路径是从PSF数据库19访问C：￥PSF￥PSF_1.bmp。文件名是对PSF标注下划线、再 标注劣化指示数18、再标注点、最后标注文件格式bmp的构造。

图10的例子中的第一PSF特定工序S3及第二PSF特定工序S60的处理顺序是：在工 序S121中，使用工序S120中被设定的劣化指示数18，参考PSF数据库19，提取与劣化指示数 18关联的PSF的亮度分布的图像文件名20，并使用该PSF的亮度分布的图像文件名20读出作 为HDD(HardDiskDrive：硬盘驱动器)等的大容量随机访问存储装置内的图像而被存储的 PSF的亮度分布4。

图11是将本发明的第八发明的第一劣化图像准备工序S1及第二劣化图像准备工 序S61中的处理顺序的1例作为流程图进行了图示。图11的第一劣化图像准备工序S1及第二 劣化图像准备工序S61具有：(S130)从1帧大小的TV影像信号21取出构成帧的RGB信号22的 RGB信号提取工序；(S131)延迟工序，将1帧大小的TV影像信号21内、取出RGB信号22后剩余 的TV影像信号23延迟1帧大小地输出；(S132)对RGB信号22进行YUV转换并生成YUV信号24的 YUV转换工序；(S133)Y劣化图像提取工序，在YUV信号24内，提取仅由亮度成分即Y信号构成 的劣化图像的亮度分布1并作为Y劣化图像的亮度分布25，保持仅由剩余的U信号构成的U劣 化图像的分布26及仅由V信号构成的V劣化图像的分布27；(S134)去伽马(degamma)处理工 序，实施Y劣化图像的亮度分布25的去伽马处理，并作为由1帧大小的亮度分布构成的劣化 图像的亮度分布1进行输出。

图12是将本发明的第九发明的第一TV影像化工序S35及第二TV影像化工序S81中 的处理顺序的1例作为流程图进行了图示。图12的第一TV影像化工序S34及第二TV影像化工 序S78的特征在于，具有：(S140)实施最大似然复原图像的亮度分布12的伽马处理的伽马处 理工序；(S141)复原图像合成工序，将在Y劣化图像提取工序S123中保持的U劣化图像的分 布26和V劣化图像的分布27、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分 布12合成1张YUV复原图像的分布28；(S142)进行YUV复原图像的分布28的RGB转换并作为 RGB复原图像的分布29的RGB转换工序；(S143)读取RGB复原图像的分布29并输出RGB信号30 的RGB信号转换工序；(S144)TV影像信号合成工序，将RGB信号30与在延迟工序S121中输出 的取出了RGB信号22后剩余的TV影像信号23合成而作为1帧大小的超分辨率TV影像信号13 并进行输出。第九发明与技术方案9记载的发明相同。

图13图示了本发明的第十发明的PSF的亮度分布4的1例。图13的PSF的亮度分布由 没有边缘的正方形状的同一尺寸的像素构成，是中心最亮的二维正态分布，其尺寸为5×5 像素。

[表1]

表1是表示由第一～第七超分辨率处理程序构成的面向TV影像的第一超分辨率处 理方法的4个方式及面向TV影像的第二超分辨率处理方法的3个方式的一览表。从表1可知， 第一超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理方法的第一方 式的全部工序，第二超分辨率处理程序使计算机执行构成面向TV影像的第一超分辨率处理 方法的第二方式的全部工序，第三超分辨率处理程序使计算机执行构成面向TV影像的第一 超分辨率处理方法的第三方式的全部工序，第四超分辨率处理程序使计算机执行构成面向 TV影像的第一超分辨率处理方法的第四方式的全部工序，第五超分辨率处理程序使计算机 执行构成面向TV影像的第二超分辨率处理方法的第一方式的全部工序，第六超分辨率处理 程序使计算机执行构成面向TV影像的第二超分辨率处理方法的第二方式的全部工序，第七 超分辨率处理程序使计算机执行构成面向TV影像的第二超分辨率处理方法的第三方式的 全部工序。第一～第七超分辨率处理程序分别采用用C++编写的程序，但也可以是例如JAVA (注册商标)、HTML及XTML这样的其他的语言单体或组合多个编写的程序。

作为本发明的第三十四发明的第一存储介质如表1所示地用于存储用于分别执行 面向TV影像的第一超分辨率处理方法的第一～第四方式的第一～第四超分辨率处理程序， 只要是具有加密及解密电路或者在进行连接并读取的计算机一侧搭载有能够加密及解密 的功能的存储介质都可以，能够使用例如4G字节以上的容量的USB(UniversalSerialBus： 通用串行总线)闪存、SD存储卡、CD(CompactDisk：压缩光盘)、DVD(DigitalVersatile Disk：数字通用光盘)等。

作为本发明的第三十五发明的第二存储介质如表1所示地用于存储分别执行面向 TV影像的第二超分辨率处理方法的第一～第三方式的第五～第七超分辨率处理程序，能够 使用与第一存储介质相同规格的存储介质。

图14图示了本发明的第十八发明的与面向TV影像的第一超分辨率处理装置31的 结构相关的1例。图14的面向TV影像的第一超分辨率处理装置31的特征在于，具有：(W1)根 据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第一劣化图像准备单 元；(W2)将劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3的单元；(W3)对PSF 的亮度分布4进行特定的第一PSF特定单元；(W4)将特定出的PSF的亮度分布4作为PSF初始 值的推定亮度分布5的单元；(W5)设定最大迭代运算次数6的单元；(W6)将对迭代运算次数 进行计数的计数器重置的单元；(W7)第一复原图像初始值修正单元，其复制复原图像初始 值的推定亮度分布3并将其作为修正复原图像初始值的推定亮度分布7，而且，对于在对PSF 的亮度分布4与修正复原图像初始值的推定亮度分布7进行卷积运算时在修正复原图像初 始值的推定亮度分布7的周边部产生的运算困难区域8，基于PSF的亮度分布4的图像尺寸来 计算该运算困难区域8，并复制运算困难区域8的像素，将该复制的像素以相对于修正复原 图像初始值的推定亮度分布7的边界成为镜像对称地配置的方式粘贴在上述边界的外侧， 并对修正复原图像初始值的推定亮度分布7进行修正，从而得到修正复原图像初始值的推 定亮度分布7；(W8)将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1的 单元；(W9)将PSF初始值的推定亮度分布5卷积修正复原图像初始值的推定亮度分布7而得 到第三十六函数F36的单元；(W10)对第三十六函数F36进行反转而得到第三十七函数F37的 单元；(W11)第三十七函数F37乘以劣化图像的亮度分布1而得到第三十八函数F38的单元； (W12)求出修正复原图像初始值的推定亮度分布7的反转函数并将其作为第三十九函数F39 的单元；(W13)将第三十九函数F39卷积第三十八函数F38而得到第四十函数F40的单元； (W14)第四十函数F40乘以PSF初始值的推定亮度分布5而得到复原PSF的推定亮度分布9的 单元；(W15)将复原PSF的推定亮度分布9替换PSF初始值的推定亮度分布5的单元；(W16)对 计数器累加1的单元；(W17)对计数器的值超过最大迭代运算次数6这种假设进行验证，若验 证结果为假则返回(W9)单元，若验证结果为真则将复原PSF的推定亮度分布9作为最大似然 复原PSF的亮度分布10进行输出的单元；(W18)由(W1)～(W8)的单元构成的PSF复原运算准 备单元；(W19)由(W9)～(W17)的单元构成的第一PSF复原运算单元；(W20)第一PSF复原单 元，在PSF复原运算准备单元W17及第一PSF复原运算单元W18中，通过以S的序数从小到大的 顺序执行而完成最大迭代运算次数6的迭代运算，输出最大似然复原PSF10的亮度分布； (W21)重置计数器，再跳转到(W23)的单元；(W22)由与基于最大似然复原PSF的亮度分布10 的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推 定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第二复原图像初始值 修正单元；(W23)将最大似然复原PSF的亮度分布10卷积修正复原图像初始值的推定亮度分 布7而得到第四十一函数F41的单元；(W24)对第四十一函数F41进行反转而得到第四十二函 数F42的单元；(W25)第四十二函数F42乘以劣化图像的亮度分布1而得到第四十三函数F43 的单元；(W26)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第四十四函数 F44的单元；(W27)将第四十四函数F44卷积第四十三函数F43而得到第四十五函数F45的单 元；(W28)第四十五函数F45乘以复原图像初始值的推定亮度分布3而得到复原图像的推定 亮度分布11的单元；(W29)将复原图像的推定亮度分布11替换成复原图像初始值的推定亮 度分布3的单元；(W30)对计数器累加1的单元；(W31)对计数器的值超过最大迭代运算次数6 这种假设进行验证，若验证结果为假则返回(W22)单元，若验证结果为真则将复原图像的推 定亮度分布11作为最大似然复原图像的亮度分布12进行输出的单元；(W32)由(W21)的单元 构成的第一图像复原运算准备单元；(W33)由(W22)～(W31)的单元构成的第一图像复原运 算单元；(W34)第一图像复原单元，其在第一图像复原运算准备单元W32及第一图像复原运 算单元W33中，通过以S的序数从小到大地执行而完成最大迭代运算次数6的迭代运算，输出 最大似然复原图像的亮度分布12；(W35)对最大似然复原图像的亮度分布12实施TV影像化 而输出1帧大小的超分辨率TV影像信号13的第一TV影像化单元。

第一图像复原运算准备单元W7是按照第一图像复原运算准备工序S7的处理顺序 对复原图像初始值的推定亮度分布3进行修正来求出修正复原图像初始值的推定亮度分布 7的单元。

图15图示了本发明的第十九发明的与第二PSF复原运算单元W48的结构相关的1 例。第二PSF复原运算单元的特征在于，具有：(W40)将PSF初始值的推定亮度分布5卷积修正 复原图像初始值的推定亮度分布7而得到第四十六函数F46的单元；(W41)将第四十六函数 F46进行反转而得到第四十七函数F47的单元；(W42)第四十七函数F47乘以劣化图像的亮度 分布1而得到第四十八函数F48的单元；(W43)求出修正复原图像初始值的推定亮度分布7的 反转函数并将其作为第四十九函数F49的单元；(W44)将第四十九函数F49卷积第四十八函 数F48而得到第五十函数F50的单元；(W45)第五十函数F50乘以PSF初始值的推定亮度分布5 而得到复原PSF的推定亮度分布9的单元；(W46)将复原PSF的推定亮度分布9作为PSF初始值 的推定亮度分布3及复原PSF的推定亮度分布9的最终值14并进行输出的单元；(W47)单次 PSF复原单元，具有(W40)～(W46)单元，通过以S的序数从小到大的顺序按顺序进行处理来 进行1次的迭代运算；(W48)是通过将最大迭代运算次数量的单次PSF复原单元串联连接而 构成的第二PSF复原运算单元，在该第二PSF复原运算单元W48中，进行与串联连接的单次 PSF复原单元W47的数量相当的次数的迭代运算，并将从最终级的单次PSF复原单元W47-F输 出的复原PSF的推定亮度分布9的最终值14作为最大似然复原PSF的亮度分布10进行输出。

图16图示了本发明的第二十发明的与第二图像复原运算单元W59的结构相关的1 例。图16的第二图像复原运算单元W59单元的特征在于，具有：(W50)由与基于最大似然复原 PSF的亮度分布10的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复 原图像初始值的推定亮度分布7的第一复原图像初始值修正单元相同的结构构成的第三复 原图像初始值修正单元；(W51)将最大似然复原PSF的亮度分布10卷积修正复原图像初始值 的推定亮度分布7而得到第五十一函数的单元；(W52)对第五十一函数进行反转而得到第五 十二函数的单元；(W53)第五十二函数乘以劣化图像的亮度分布1而得到第五十三函数的单 元；(W54)求出最大似然复原PSF的亮度分布10的反转函数并将其作为第五十四函数的单 元；(W55)将第五十四函数卷积第五十三函数而得到第五十五函数的单元；(W56)第五十五 函数乘以复原图像初始值的推定亮度分布3而得到复原图像的推定亮度分布11的单元； (W57)将复原图像的推定亮度分布11作为复原图像初始值的推定亮度分布3及复原图像的 推定亮度分布11的最终值15进行输出的单元；(W58)第一单次图像复原单元，其具有(W50) ～(W57)单元，以S的序数从小到大的顺序按顺序进行处理来进行1次的迭代运算，(W59)是 通过将最大迭代运算次数6的第一单次图像复原单元S58串联连接而构成的第二图像复原 运算单元，在该第二图像复原运算单元W59中，进行与串联连接的第一单次图像复原单元 W58的数量相当的次数的迭代运算，将从最终级的第一单次图像复原单元W58-F输出的复原 图像的推定亮度分布11的最终值15作为最大似然复原图像的亮度分布12进行输出。

图17图示了本发明的第二十一发明的与面向TV影像的第二超分辨率处理装置32 的结构相关的1例。图17的面向TV影像的第二超分辨率处理装置32的特征在于，具有：(W60) 一边观察TV影像2一边对适于TV影像的劣化状况的PSF的亮度分布4进行特定的第二PSF特 定单元；(W61)根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第二 劣化图像准备单元；(W62)第四复原图像初始值修正单元，其由与复制劣化图像的亮度分布 1并将其作为复原图像初始值的推定亮度分布3而且再基于PSF的亮度分布4的图像尺寸对 复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7 的第一复原图像初始值修正单元相同的处理顺序构成；(W63)将修正复原图像初始值的推 定亮度分布7作为劣化图像的亮度分布1的单元；(W64)设定最大迭代运算次数6的单元； (W65)将对迭代运算次数进行计数的计数器的值n重置为零的单元；(W66)将特定出的PSF的 亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第五十六函数F56的单元； (W67)对第五十六函数F56进行反转而得到第五十七函数F57的单元；(W68)第五十七函数 F57乘以劣化图像的亮度分布1而得到第五十八函数F58的单元；(W69)求出PSF的亮度分布4 的反转函数并将其作为第五十九函数F59的单元；(W70)将第五十九函数F59卷积第五十八 函数F58而得到第六十函数F60的单元；(W71)第六十函数F60乘以复原图像初始值的推定亮 度分布3而得到复原图像的推定亮度分布11的单元；(W72)将复原图像的推定亮度分布11替 换复原图像初始值的推定亮度分布3的单元；(W73)对计数器累加1的单元；(W74)对计数器 的值为最大迭代运算次数6以上这一假设进行验证，若验证结果为假则跳转到(W75)单元， 若验证结果为真则跳转到(W77)单元的单元；(W75)由与基于PSF的亮度分布4的图像尺寸对 复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7 的第一复原图像初始值修正单元相同的处理顺序构成的第五复原图像初始值修正单元； (W76)跳转到W66的单元；(W77)将复原图像的推定亮度分布11作为最大似然复原图像的亮 度分布12进行输出的单元；(W78)由(W60)～(W65)单元构成的第二图像复原运算准备单元； (W79)由(W66)～(W78)单元构成的第三图像复原运算单元；(W80)第二图像复原单元，其具 有第二图像复原运算准备单元W78及第三图像复原运算单元W79，通过以W的序数从小到大 的顺序执行来完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布 12；(W81)对最大似然复原图像的亮度分布12实施TV影像化而输出1帧大小的超分辨率TV影 像信号13的第二TV影像化单元。

图18图示了本发明的第二十二发明的与第四图像复原运算单元W94的结构相关的 1例。图18的第四图像复原运算单元W94的特征在于，具有：(W85)由与基于PSF的亮度分布4 的图像尺寸对复原图像初始值的推定亮度分布3进行修正而得到修正复原图像初始值的推 定亮度分布7的第一复原图像初始值修正单元相同的处理顺序构成的第六复原图像初始值 修正单元；(W86)将PSF的亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第六 十一函数的单元；(W87)对第六十一函数进行反转而得到第六十二函数的单元；(W88)第六 十二函数乘以劣化图像的亮度分布1而得到第六十三函数的单元；(W89)求出PSF的亮度分 布4的反转函数并将其作为第六十四函数的单元；(W90)将第六十四函数卷积第六十三函数 而得到第六十五函数的单元；(W91)第六十五函数乘以复原图像初始值的推定亮度分布3而 得到复原图像的推定亮度分布的单元；(W92)将复原图像的推定亮度分布11作为复原图像 初始值的推定亮度分布3及复原图像的推定亮度分布11的最终值15进行输出的单元；(W93) 第二单次图像复原单元，其具有(W85)～(W92)单元，通过以W的序数从小到大的顺序进行处 理而进行1次的迭代运算，(W94)是通过将最大迭代运算次数6的第二单次图像复原单元W93 串联连接而构成的第四图像复原运算单元，在该第四图像复原运算单元W94中，进行与串联 连接的第二单次图像复原单元W93的数量相当的次数的迭代运算，将从最终级的第二单次 图像复原单元W93-F输出的复原图像的推定亮度分布11的最终值15作为最大似然复原图像 的亮度分布12进行输出。

图19图示了本发明的第二十三发明的与第五图像复原运算单元的结构相关的1 例。图19的第五图像复原运算单元的特征在于，具有：(W100)将对迭代运算次数进行计数的 计数器的值n重置为零的单元；(W101)对计数器的值为零以外这种假设进行验证，若验证结 果为假则跳转到(W102)，若验证结果为真则跳转到(W103)的单元；(W102)将劣化图像的亮 度分布1传送至劣化图像的亮度分布保存用缓冲器16及复原图像初始值的推定亮度分布用 缓冲器17的单元；(W103)从复原图像初始值的推定亮度分布用缓冲器17读取复原图像初始 值的推定亮度分布3的单元；(W104)由与基于PSF的亮度分布4的图像尺寸对复原图像初始 值的推定亮度分布3进行修正而得到修正复原图像初始值的推定亮度分布7的第一复原图 像初始值修正单元相同的处理顺序构成的第七复原图像初始值修正单元；(W105)将PSF的 亮度分布4卷积修正复原图像初始值的推定亮度分布7而得到第六十六函数F66的单元； (W106)对第六十六函数F66进行反转而得到第六十七函数F67的单元；(W107)第六十七函数 F67乘以劣化图像的亮度分布1而得到第六十八函数的单元；(W108)求出PSF的亮度分布的 反转函数并将其作为第六十九函数的单元；(W109)将第六十九函数F69卷积第六十八函数 F68而得到第七十函数F70的单元；(W110)第三十五函数乘以复原图像初始值的推定亮度分 布3而得到复原图像的推定亮度分布11的单元；(W111)对计数器累加1的单元；(W112)对计 数器的值超过最大迭代运算次数6这一假设进行验证，若验证结果为假则跳转到(W113)，若 验证结果为真则跳转到(W115)的单元；(W113)将复原图像的推定亮度分布11传送到复原图 像初始值的推定亮度分布用缓冲器17的单元；(W114)跳转到(W103)的单元；(W115)将复原 图像的推定亮度分布11作为最大似然复原图像的亮度分布12进行输出的单元；(W116)第五 图像复原运算单元，其具有(W100)～(W115)单元，通过以W的序数从小到大的顺序按顺序执 行来完成最大迭代运算次数6的迭代运算，并输出最大似然复原图像的亮度分布12。第二十 三发明与技术方案23记载的发明相同。

图20图示了本发明的第二十四发明的与第一PSF特定单元W3及第二PSF特定单元 W60的结构相关的1例。图20的第一PSF特定单元W3及第二PSF特定单元W60具有：(W120)设定 与在显示器中放映出的TV影像2的光学劣化程度相应的劣化指示数18的单元；(W121)从PSF 数据库19提取与劣化指示数18关联的PSF的亮度分布4的单元。

图21图示了本发明的第二十五发明的与第一劣化图像准备单元W1及第二劣化图 像准备单元W61的结构相关的1例。图21的第一劣化图像准备单元W1及第二劣化图像准备单 元W61具有：(W130)从1帧大小的TV影像信号21取出构成帧的RGB信号22的RGB信号提取单 元；(W131)延迟单元，将1帧大小的TV影像信号21内、取出RGB信号22后剩余的TV影像信号23 延迟1帧大小地输出；(W132)对RGB信号22进行YUV转换并作为YUV信号24的YUV转换单元； (W133)Y劣化图像提取单元，在YUV信号24内，提取仅由亮度成分即Y信号构成的劣化图像的 亮度分布1并作为Y劣化图像的亮度分布25，保持仅由剩余的U信号构成的U劣化图像的分布 26及仅由V信号构成的V劣化图像的分布27；(W134)去伽马处理单元，其实施Y劣化图像的亮 度分布25的去伽马处理,并作为由1帧大小的亮度分布构成的劣化图像的亮度分布1并进行 输出。第二十五发明与技术方案25记载的发明相同。

图22图示了本发明的第二十六发明的与第一TV影像化单元W35及第二TV影像化单 元W81的结构相关的1例。图22的第一TV影像化单元W35及第二TV影像化单元W81的特征在 于，具有：(W140)进行最大似然复原图像的亮度分布12的伽马处理的伽马处理单元；(W141) 复原图像合成单元，其将由Y劣化图像提取单元W133保持的U劣化图像的分布26和V劣化图 像的分布27、以及由Y成分构成的伽马处理后的最大似然复原图像的亮度分布12合成1张 YUV复原图像的分布28；(W142)进行YUV复原图像的分布28的RGB转换并作为RGB复原图像的 分布29的RGB转换单元；(W143)读取RGB复原图像的分布29并输出RGB信号30的RGB信号转换 单元；(W144)TV影像信号合成单元，其将RGB信号30与由延迟单元W131输出的取出了RGB信 号22后剩余的TV影像信号23合成来作为1帧大小的超分辨率TV影像信号13进行输出。

[表2]

表2是表示由第八～第十四超分辨率处理程序构成的面向TV影像的第一超分辨率 处理装置31的4个方式及面向TV影像的第二超分辨率处理装置32的3个方式的一览表。从表 2可知，第八超分辨率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第一 方式的全部单元并使计算机执行这些单元；第九超分辨率处理程序构成了构成面向TV影像 的第一超分辨率处理装置31的第二方式的全部单元并使计算机执行这些单元；第十超分辨 率处理程序构成了构成面向TV影像的第一超分辨率处理装置31的第三方式的全部单元并 使计算机执行这些单元；第十一超分辨率处理程序构成了构成面向TV影像的第一超分辨率 处理装置31的第四方式的全部单元并使计算机执行这些单元；第十二超分辨率处理程序构 成了构成面向TV影像的第二超分辨率处理装置32的第一方式的全部单元并使计算机执行 这些单元；第十三超分辨率处理程序构成了构成面向TV影像的第二超分辨率处理装置32的 第二方式的全部单元并使计算机执行这些单元；第十四超分辨率处理程序构成了构成面向 TV影像的第二超分辨率处理装置32的第三方式的全部单元并使计算机执行这些单元。第八 ～第十四超分辨率处理程序分别采用用C++编写的程序，但也可以采用例如JAVA(注册商 标)、HTML及XTML这样的其他的语言单体或组合多个编写的程序。

作为本发明的第三十六发明的第三存储介质如表2所示地用于存储用于构成了面 向TV影像的第一超分辨率处理装置31的第一～第四方式中的各个方式内的全部单元且执 行这些全部单元的第八～第十一超分辨率处理程序，能够使用与第一存储介质相同的规 格。

作为本发明的第三十七发明的第四存储介质如表2所示地用于存储用于构成了面 向TV影像的第二超分辨率处理装置32的第一～第三方式中的各个方式内的全部单元且执 行这些全部单元的第十二～第十四超分辨率处理程序，能够使用与第一存储介质相同的规 格。

第八～第十四超分辨率处理程序分别具有相同的构造，该相同的构造为：装置程 序，其与面向TV影像的超分辨率处理装置的种类及其方式相匹配地构成该方式内的全部单 元且规定执行顺序；全部程序共用的超分辨率处理窗口创建程序，其创建用于进行与超分 辨率处理相关的操作的超分辨率处理窗口并在计算机的显示器上显示；由全部程序共用的 超分辨率处理窗口监视程序，其始终监视超分辨率处理窗口内的全部按键、计算机的键盘 的按键、鼠标指定的位置及该位置处的右点击及左点击，若存在右点击及左点击等对于监 视对象的动作，则执行适于该动作的处理。

实施例

实施例1是通过第一超分辨率处理装置程序33将本发明的面向TV影像的第一超分 辨率处理装置31的第一方式(表2)构成于计算机34的面向TV影像的第一超分辨率处理系统 35。另一方面，面向TV影像的第一超分辨率处理装置31的第二～第四方式在系统结构上及 超分辨率处理品质方面与第一方式没有差异。由此，作为面向TV影像的第一超分辨率处理 装置31的代表将第一方式选为实施例1。

图23图示了本发明的实施例1的与面向TV影像的第一超分辨率处理系统35的结构 相关的1例。图23的面向TV影像的第一超分辨率处理系统35由以下部分构成：为了输入/输 出数字TV影像信号而使用的数字TV影像信号输入输出端子36；安装有面向TV影像的第一超 分辨率处理装置31的计算机34；TV影像输入基板37，其利用FPGA构成了根据TV影像2准备与 TV影像信号的输入相关的劣化图像的亮度分布1的第一劣化图像准备单元W1；超分辨率TV 影像输出基板39，其利用FPGA构成了对与超分辨率TV影像38的输出相关的最大似然复原图 像的亮度分布12实施TV影像化并输出1帧大小的超分辨率TV影像信号13的第一TV影像化单 元W35；超分辨率处理模式切换控制电路基板42，其将用影像显示模式指定按键40指定的、 及用条件显示指定按键41指定的影像显示方法及超分辨率处理条件显示重叠有无反映到 超分辨率TV影像信号13；数字TV影像线缆43；和总线线缆44。在图23中省略了电源线缆。

在图23中，将TV影像输入基板37及超分辨率TV影像输出基板39这类硬件用于构成 于计算机34的面向TV影像的第一超分辨率处理系统35内的面向TV影像的第一超分辨率处 理装置31的第一劣化图像准备单元W1及第一TV影像化单元W35，因此，计算机34内的第一劣 化图像准备单元W1构成为取得TV影像输入基板37所输出的劣化图像的亮度分布1的单元， 另外，第一TV影像化单元W35构成为向超分辨率TV影像输出基板39传送最大似然复原图像 的亮度分布12的单元。

在图23中，当将面向TV影像的第一超分辨率处理装置31构成于计算机34时，首先， 学习图24的例子，将第三存储介质45连接到计算机34的背面的USB端子，接着，将存储在第 三存储介质45中的第一超分辨率处理装置程序33安装到计算机34。于是，计算机34将用于 起动面向TV影像的第一超分辨率处理装置31所使用的面向TV影像的第一超分辨率处理装 置图标46置于显示器47内的画面上。接着，用户48点击面向TV影像的第一超分辨率处理装 置图标46，起动面向TV影像的第一超分辨率处理装置31。于是，直到按下超分辨率处理窗口 52内的关闭按键55为止进行如下的处理：首先，第一超分辨率处理装置程序33内的装置程 序49起动，构成了根据面向TV影像的第一超分辨率处理方法进行处理的面向TV影像的第一 超分辨率处理装置31内的全部单元，接着，超分辨率处理窗口创建程序50起动，创建为进行 与面向TV影像的第一超分辨率处理装置31中的超分辨率处理相关的操作所使用的超分辨 率处理窗口52，并显示在显示器47上，接着，超分辨率处理窗口监视程序51起动，始终监视 通过超分辨率处理窗口52内的全部按键、计算机34的键盘53的按键、计算机34的鼠标54指 定的位置及该位置处的右点击及左点击，若存在右点击及左点击等的对监视对象的动作， 则实施执行适于该动作的处理。

图25图示了与超分辨率处理窗口52的结构相关的1例。图25的超分辨率处理窗口 52由以下部分构成：影像显示模式指定按键40，其用于针对影像窗口58内的影像的显示模 式，从下拉菜单中选择各占一半(中分)的测试模式、仅显示TV影像2的输入影像模式或仅显 示超分辨率TV影像38的超分辨率TV影像模式中的一个；为了使超分辨率处理条件的最大迭 代运算次数6及劣化指示数18重叠地显示在超分辨率TV影像38的右上角所使用的拨动开关 的条件显示指定按键41；为了关闭超分辨率处理窗口52所使用的关闭按键55；用于从下拉 菜单(在本发明的下拉菜单中，默认是由淡蓝色的背景显示的。)中指定1个数字来将劣化指 示数18设定为0～255的256阶中的某一个的劣化指示数设定按键56；为了当点击时会打开 下拉列表框从而选择列表中的值或在显示在文本框中的默认值上直接输入最大迭代运算 次数6来进行设定所使用的最大迭代运算次数设定按键57；用于显示TV影像2及超分辨率TV 影像38等的影像窗口58；用于显示当前日期时间及超分辨率条件及来自系统的消息等的、 在右端设置有上下滚动条的信息窗口60；为了基于设定的条件开始进行超分辨率处理而用 来点击的超分辨率处理开始按键61；为了中断超分辨率处理而用来点击的超分辨率处理中 断按键62；用于将中断的超分辨率处理再开始的超分辨率处理再开按键63；为了停止超分 辨率处理而用来点击的超分辨率处理停止按键64；打开帮助窗口并检索且显示帮助内容的 帮助按键65；以及影像放大/缩小按键66，在点击并指定在影像窗口58内的已缩小/放大的 影像之后，若按下该按键内的+，则放大所指定的影像，若按下‐，则放大所指定的影像，若按 下0，则恢复到默认倍率并显示所指定的影像。图25表示测试模式下的影像的显示状态。

计算机34由以下部件构成：64位指令集32位6核/芯片CPU(CentralProcessing Unit：中央处理器)；GPU(GraphicProcessingUnit：图形处理器)；32G字节以上的存储器； 具有1T字节以上的存储容量的HDD；具有128G字节以上的存储容量的SDD(SolidstateDisk Drive：固态盘驱动器)；3个以上的USB端子；1个以上的LAN(LocalAreaNetwork：局域网) 端子；WiFi(WirelessFidelity：无线保真)或Bluetooth(注册商标)等的无线通信模块、电 话端子；键盘53；鼠标54；FHD(FullHighDefinition：全高清)显示器；微软公司制Windows (注册商标)8O/S；微软公司制VisualStudio2010(注册商标)(包含VisualC++2010)；微软 公司制Office2013(注册商标)，能够通过WiFi、Bluetooth(注册商标)、LAN、USB及互联网与 其他的计算机通信。计算机34使用从被量产的、在市场中流通的大量种类的台式计算机中 选择出的计算机，若具有同样的规格，则也可以使用工作站。另外，虽然O/S的种类不同，也 可以使用服务器。

图26是将面向TV影像的第一超分辨率处理系统35中执行超分辨率处理的顺序的1 例作为事务表进行了图示。图26的事务表由如下部分构成：用户48的时间轴(实线)；从意味 着用户48的输入处理的用户48的时间轴倾斜地延伸的实线箭头；计算机34的时间轴(虚 线)；从意味着计算机34的响应的计算机34的时间轴倾斜地延伸的虚线箭头；意味着开始及 结束的定时的带文字椭圆。

根据图26的事务表，在面向TV影像的第一超分辨率处理系统35中直到执行超分辨 率处理为止的顺序如下：(1)在“起动”步骤中，用户48点击面向TV影像的第一超分辨率处理 装置图标46，计算机34将(A)超分辨率处理窗口52显示在显示器47上；(2)在“超分辨率处理 条件输入-1”步骤中，用户48点击劣化指示数设定按键56，计算机34在(B)劣化指示数设定 按键56的位置展开显示下拉菜单；(3)在“超分辨率处理条件输入-2”步骤中，用户48从下拉 菜单选择适当的数值，计算机34获取(C)劣化指示数18，并关闭下拉菜单；(4)在“超分辨率 处理条件输入-3”步骤中，用户48点击最大迭代运算次数设定按键57，计算机34在(D)最大 迭代运算次数设定按键57的位置展开下拉列表框；(5)在“超分辨率处理条件输入-4”步骤 中，用户48从下拉列表框选择或输入适当的数值，计算机34获取(E)最大迭代运算次数6，并 关闭下拉列表框；(6)在“超分辨率处理条件输入-5”步骤中，用户48点击影像显示模式指定 按键40，计算机34在(F)影像显示模式指定按键40的位置展开下拉菜单；(7)在“超分辨率处 理条件输入-6”步骤中，用户48从下拉菜单选择适当的模式，计算机34获取(G)影像显示模 式指定按键40，并关闭下拉菜单；(8)在“超分辨率处理条件输入-7”步骤中，用户48点击条 件显示指定按键41，计算机34对(H)将条件显示指定按键41的颜色反转并显示显示设定的 情况；(9)在“超分辨率处理开始”步骤中，用户48点击超分辨率处理开始按键48，计算机34 执行(I)超分辨率处理，根据影像显示模式指定按键40及条件显示指定按键41将超分辨率 TV影像38及TV影像2反映并显示在影像窗口58。就超分辨率处理窗口52而言，即使在超分辨 率处理过程中，也由于始终监视向超分辨率处理窗口52的按键的访问，所以当超分辨率处 理条件变更时，若用户48点击影像显示模式指定按键40、条件显示指定按键41、劣化指示数 设定按键56、最大迭代运算次数设定按键57并再设定条件，则维持显示影像地反映超分辨 率处理条件的变更。若用户48想要结束超分辨率处理的情况下，用户48点击关闭按键55。于 是，计算机34对此进行响应而关闭超分辨率处理窗口52，而且关闭面向TV影像的第一超分 辨率处理装置31。

根据图26的超分辨率处理顺序，用户48首先执行步骤(1)来将超分辨率处理窗口 52显示在显示器47上，接着，执行步骤(2)，在劣化指示数设定按键56的位置展开显示下拉 菜单，在步骤(3)中，一边观察显示有TV影像2的地上数字化TV59，一边因感觉TV影像2的劣 化程度小而选择14来作为劣化指示数18(默认值为256阶中的60)，接着执行步骤(4)，在最 大迭代运算次数设定按键57的位置展开下拉列表框，在步骤(5)中，一边观察显示有TV影像 2的地上数字化TV59，一边因感觉TV影像2的劣化程度小而选择4来作为最大迭代运算次数6 (默认值为3)，接着，执行步骤(6)，在影像显示模式指定按键40的位置展示下拉菜单，在步 骤(7)中，由于还没有确定超分辨率处理条件所以选择测试模式，接着执行步骤(8)，将条件 显示指定按键41处于显示设定，接着执行步骤(9)，当执行超分辨率处理时，TV影像2和超分 辨率TV影像38以横向排列且中分(各占一半)的状态显示在超分辨率处理窗口52的影像窗 口58，用户48认为该超分辨率处理条件合适，操作地上数字化TV59将输入设定设为影像，将 显示在影像窗口58上的影像显示在地上数字化TV59的整个画面上，接着，用户48操作影像 显示模式指定按键40变更成超分辨率TV影像模式，将超分辨率TV影像38显示在影像窗口58 及地上数字化TV59的整个画面上，来观看。

图27是表示实施例1的超分辨率处理的状况的1例的图。在图27中，显示有测试模 式下的以横向排列且中分(各占一半)的状态显示TV影像2和超分辨率TV影像38的影像的1 帧。中分的右侧是超分辨率处理前的TV影像2的1帧，中分的左侧是对中分的右侧的1帧进行 了超分辨率处理的超分辨率TV影像38的1帧。在超分辨率TV影像38的1帧的右上角，用F这个 附图标记显示劣化指示数18，用I这个附图标记表示显示最大迭代运算次数6，而且用测试 这一简写显示该影像显示模式为测试模式。从图27可知，TV影像2的显示开始位置比超分辨 率TV影像38稍向右偏，但可知本发明的实施例1的面向TV影像的第一超分辨率处理系统35 的超分辨率品质具有充分的实用性。

实施例2是应用了本发明的面向TV影像的第二超分辨率处理装置32的第一方式 (表2)的面向TV影像的第二超分辨率处理系统67。面向TV影像的第二超分辨率处理系统67 是通过将面向TV影像的第一超分辨率处理系统35的第一超分辨率处理装置程序33变更成 第五超分辨率处理装置程序68而构成的，但用户48和计算机34之间的接口即超分辨率处理 窗口52没有任何变更，从而没有从用户48观察到的系统上的变更及超分辨率处理顺序的变 更。但是，在面向TV影像的第二超分辨率处理系统67中，由于不存在第一PSF复原单元W19， 所以处理单元的数量约为一半，具有执行处理速度为高速的特征，相反地，存在对劣化指示 数18的设定敏感的缺点。就超分辨率处理品质而言，若为TV影像且超分辨率处理条件设定 与实施例1相同，则几乎与实施例1没有差别，能够得到与图27的例子同样的结果。另外，面 向TV影像的第二超分辨率处理装置32的第二～第三方式在系统结构上及超分辨率处理品 质方面与第一方式没有差异。

实施例3是将面向TV影像的第一超分辨率处理装置31的第四方式(表2)硬件化的 第一机顶盒69。

图28是表示实施例3的与第一机顶盒69的内部结构相关的1例的图。图28的第一机 顶盒69由以下部分构成：为了输入/输出数字TV影像信号而使用的数字TV影像信号输入输 出端子36；为了设定表示TV影像2的劣化程度的劣化指示数18而使用的F设定单元70；为了 设定最大迭代运算次数6而使用的I设定单元71；将超分辨率处理模式切换到测试或本处理 的模式开关72；指定是否将超分辨率处理的模式及F设定单元70及I设定单元71的值与TV影 像信号重叠的条件显示开关73；用于始终监视超分辨率处理的模式及F设定单元70和I设定 单元71的值的LCD(LiquidCrystalDisplay：液晶显示器)显示器74；为了实施第一机顶盒 69的电源的接通/关断而使用的电源开关75；仅在电源开关75接通时点亮的LED(Light EmittingDiode：发光二极管)灯76；外壳77；计算机基板79，其通过安装第一机顶盒程序78 而预先定义了第一PSF复原运算单元W18及第一图像复原运算单元W32以外的面向TV影像的 第一超分辨率处理装置31的第四方式的全部单元；上变频电路基板80，其自动地判定数字 TV影像信号是数字交织(digitalinterlace)方式还是数字逐行(digitalprogressive) TV影像信号，仅在数字交织方式时将数字TV影像信号转换成数字逐行TV影像信号；G电路基 板81，其由将根据TV影像2准备由1帧大小的亮度分布构成的劣化图像的亮度分布1的第一 劣化图像准备单元W1电路化后的部件构成；R电路基板82，其由将对最大似然复原图像的亮 度分布12实施TV影像化并输出1帧大小的超分辨率TV影像信号13的第一TV影像化单元35电 路化后的部件构成；超分辨率处理模式切换控制电路基板42；HDD83；P电路基板84，其使用 FPGA制作通过将第一PSF复原运算单元W19串联连接6个单次PSF复原单元W47而构成的第二 PSF复原运算单元W48；F电路基板85，其使用FPGA制作通过将第一图像复原运算单元W33串 联连接6个第一单次图像复原单元W58而构成的第二图像复原运算单元W59；电源电路基板 86，其向第一机顶盒69内必要的部件提供适当的电源；散热风扇87，其从计算机基板79接受 最佳的驱动条件的提供并以适量的风量支援散热；LAN端子88；USB端子89～91；商用交流单 相100V电源线缆92；总线线缆93；高频线缆94；电源线缆95；信号线96；以及信号线97。

F设定单元70是面向TV影像的第一超分辨率处理装置31的第一PSF特定单元W3及 面向TV影像的第二超分辨率处理装置32的第二PSF特定单元W60通用的单元，其相当于用于 设定与在地上数字化TV59等显示器上放映出的TV影像2的光学劣化程度相应的劣化指示数 18的单元W120。另外，I设定单元71相当于面向TV影像的第一超分辨率处理装置31的单元W5 及面向TV影像的第二超分辨率处理装置32的单元W64。F设定单元70及I设定单元71是能够 设定10进制3位数的数字的位开关，数据及电源通过总线线缆93传递并且能够直接读取设 定值的规格最好。该规格设备能够从市场购买。

第一机顶盒程序78是由C++语言编写的程序，能够由搭载在计算机基板79上的CPU 读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化后 自动执行：第一PSF特定单元W3及第二PSF特定单元W60中的单元W121(图20)定义在计算机 基板79内的计算机中，而且，单元W121所参考的PSF数据库19(图10、图20)构成在HDD83内， 此外，第一PSF复原运算单元W18及第一图像复原运算单元W32以外的面向TV影像的第一超 分辨率处理装置31的第四方式的全部单元被定义，并且在与第一机顶盒69内的硬件之间能 够顺畅地进行信息交换。

图29是将第一机顶盒69中的处理顺序的1例作为流程图进行了图示。图29的流程 图由以下步骤构成：(步骤1)通过接通电源来重置超分辨率处理模式切换控制电路基板42、 上变频电路基板80、G电路基板81、R电路基板82、P电路基板84及F电路基板85；(步骤2)将从 G电路基板81传送的劣化图像的亮度分布1向P电路基板84及F电路基板85传送；(步骤3)被 定义在计算机基板79上的单元W5从I设定单元71读取最大迭代运算次数6；(步骤4)在计算 机基板79上定义的第一PSF特定单元W3从F设定单元70读取劣化指示数18并将其作为检索 信息检索PSF数据库19，将得到的PSF的亮度分布4向P电路基板84传送；(步骤5)在计算机基 板79上定义的第一复原图像初始值修正单元W7将从G电路基板81传送的劣化图像的亮度分 布1作为复原图像初始值的推定亮度分布3及修正复原图像初始值的推定亮度分布7之后， 基于PSF的亮度分布4的图像尺寸对修正复原图像初始值的推定亮度分布7的运算困难区域 8进行计算，再对修正复原图像初始值的推定亮度分布7的运算困难区域8进行修正，再将修 正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1，再将修正复原图像初始值 的推定亮度分布7向P电路基板84及F电路基板85传送；(步骤6)计算机基板79的计算机利用 P电路基板84开始最大迭代运算次数6的迭代运算；(步骤7)计算机基板79的计算机将P电路 基板84输出的最大似然复原PSF的亮度分布10向F电路基板85传送；(步骤8)计算机基板79 的计算机利用F电路基板85开始最大迭代运算次数6的迭代运算；(步骤9)计算机基板79的 计算机将F电路基板85输出的最大似然复原图像的亮度分布12向R电路基板82传送；(步骤 10)返回(步骤4)；(步骤11)在离线时，通过使电源开关75断开来结束。处理从(步骤1)开始， 然后在(步骤3)～(步骤11)之间反复实施，在(步骤12)中，在离线时，通过使电源开关75断 开来结束。

计算机基板79是最新的Windows(注册商标)OS(OperatingSystem：操作系统)系 计算机，是能够使用C++语言的PC母板。在PC母板上具有大量的各种I/O(Input/Output interface：输入输出接口)、LAN端子88、USB端子89～91、麦克风端子、扬声器端子等的外部 连接端子，另外，价格也不是很贵，为优选。PC母板在市场上流通有多个种类，只要是搭载了 16G字节等的大容量的高速存储器的高端设备都可以。另外，C++语言也可以在PC母板购买 后安装。

超分辨率处理模式切换控制电路基板42始终读取模式开关72及条件显示开关73 的状态且自动判定，(模式1)若模式开关72为本处理模式且条件显示开关73不重叠的情况 下，从上变频电路基板80接受1帧大小的TV影像信号21并向G电路基板81输出，将从R电路基 板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13向数字TV影像信号输入输 出端子36输出，(模式2)若模式开关72为本处理模式且条件显示开关73有重叠的情况下，从 上变频电路基板80接受1帧大小的TV影像信号21并向G电路基板81输出，接着，将从计算机 基板79读取的信息重叠在从R电路基板82输出的超分辨率处理后的1帧大小的超分辨率TV 影像信号13的右上角并向数字TV影像信号输入输出端子36输出，(模式3)若模式开关72为 测试模式且条件显示开关73没有重叠的情况下，从上变频电路基板80接受1帧大小的TV影 像信号21并复制，将一方向G电路基板81输出的同时使另一方延迟1帧大小，将延迟的一方 压缩成横宽1/2并成为1张画面的右半部分，再将从R电路基板82输出的超分辨率处理后的1 帧大小的超分辨率TV影像信号13压缩成横宽1/2并成为1张画面的左半部分，并通过将两者 合成，使得1张画面的右半部分成为超分辨率处理前的帧且左半部分成为超分辨率处理后 的帧，将以上述方式调整的1帧大小的超分辨率TV影像信号13向数字TV影像信号输入输出 端子36输出，(模式4)若模式开关72为测试模式且条件显示开关73有重叠的情况下，从上变 频电路基板80接受1帧大小的TV影像信号21并复制，将一方向G电路基板81输出的同时使另 一方延迟1帧大小，将延迟的一方压缩成横宽1/2并成为1张画面的右半部分，再将从R电路 基板82输出的超分辨率处理后的1帧大小的超分辨率TV影像信号13压缩成横宽1/2并成为1 张画面的左半部分，并通过将两者合成，使得1张画面的右半部分成为超分辨率处理前的帧 且左半部分成为超分辨率处理后的帧，在以上述方式调整的1帧大小的超分辨率TV影像信 号13的右上角重叠从计算机基板79读入的信息，并向数字TV影像信号输入输出端子36输 出。上变频电路基板80和G电路基板81之间、G电路基板81和超分辨率处理模式切换控制电 路基板42之间、超分辨率处理模式切换控制电路基板42和R电路基板82之间的信号及信息 的传递自动地进行。

在HDD83中，除了第一机顶盒程序78以外，还搭载了WindowsOS(未图示)、C++(未图 示)和PSF数据库19(未图示)等。HDD83是1T字节以上的容量，能够随机高速读写，并且搭载 了总线接口及8M字节以上的缓冲器，只要是数据和信号的收发以及电源的供给经由总线线 缆93进行的规格设备都可以。市场上有多种，但从空间的关系上，优选采用2.5英寸尺寸的 设备。

超分辨率处理模式切换控制电路基板42、上变频电路基板80、G电路基板81、R电路 基板82、P电路基板84及F电路基板85需要使用FPGA自已创建，但上变频电路基板80及电源 电路基板86能够在市场购买满足设计要素的已有产品。

图30图示了实施例3的第一机顶盒69的设定的状况的1例。在图30中，用户48将从 地上数字化TV59的数字影像信号/声音输入输出端子延伸的数字信号线缆98连接在第一机 顶盒69的数字TV影像信号输入输出端子36。

接着，用户48首先使第一机顶盒69的电源开关75接通而接入电源，其次，接入地上 数字化TV59的电源，使用地上数字化TV59的频道命令99与喜好的频道匹配，一边利用地上 数字化TV59的TV显示器100确认TV播放影像，一边将模式开关72切换到测试，再将条件显示 开关73切换到有重叠。于是，在TV显示器100的右半部分放映超分辨率处理前的TV播放影 像，而且，在左半部分无延迟地放映以默认设定条件进行了超分辨率处理之后的TV播放影 像，在TV显示器100的右上角，最大迭代运算次数6的值为“I＝6”，劣化指示数18的值为“F＝ 60”，测试模式以“测试”这样的显示与TV影像重叠。

接着，由于帧的光学劣化少，所以用户48使用F设定单元70将劣化程度从默认的 256阶中的60设定成30，并使用I设定单元71将最大迭代运算次数保持在默认的256阶中的 3，利用TV显示器100确认在进行了基于接近实时处理的超分辨率处理后的画质的变化。其 结果可知，没有大的画质变化，可知在默认值以下即可。这是因为，第一机顶盒69的面向TV 影像的超分辨率装置27复原成PSF的亮度分布，从而即使与通过F设定单元70设定的劣化指 示数18关联的PSF初始值的推定亮度分布6稍有变化，也具有充分的复原能力。另外，用户48 在此后一边利用TV显示器100确认在进行了基于接近实时处理的超分辨率处理后的画质的 变化，一边使F设定单元70及I设定单元71变化并找出最佳的画质的状态。只要一次决定超 分辨率处理条件(F设定单元70及I设定单元71的设定值)，通过切换模式开关72就能够在TV 显示器100的整个画面上欣赏超分辨率处理后的TV播放影像。即使在该状态下，超分辨率处 理条件也是可变的。

实施例4是将本发明的面向TV影像的第二超分辨率处理装置32的第二方式硬件化 后的第二机顶盒101。第二机顶盒101从第一机顶盒69的硬件的结构去除了P电路基板84，并 代替第一机顶盒程序78而使用第二机顶盒程序102，除此以外，全部与第一机顶盒69相同。 由此，没有改写地显示图28。第一机顶盒69和第二机顶盒101之间的不同仅是机顶盒的序 号，从而没有改写地表示图30。

第二机顶盒程序102是用C++语言编写的程序，能够由搭载在计算机基板79上的 CPU读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化 后自动执行：对PSF的亮度分布进行特定的第二PSF特定单元W60中的单元W121(图20)定义 在计算机基板79内的计算机中，而且，单元W98所参考的PSF数据库19(图10、图20)构成在 HDD83内，此外，第四图像复原运算单元W94以外的面向TV影像的第二超分辨率处理装置32 的第二方式的全部单元被定义，并且在与第二机顶盒101内的硬件之间能够顺畅地进行信 息交换。

第二机顶盒101内的处理顺序的1例是在图28所示的流程图内，以下述的方式变更 (步骤2)～(步骤7)而构成的，但其他步骤没有变更。(步骤2)变更成“将从G电路基板81传送 的劣化图像的亮度分布1向F电路基板85传送的步骤”，(步骤3)变更成“被定义在计算机基 板79上的单元W64从I设定单元71读取最大迭代运算次数6的步骤”，(步骤4)变更成“被定义 在计算机基板79上的第二PSF特定单元W60从F设定单元70读取劣化指示数18并将其作为检 索信息检索PSF数据库19，将得到的PSF的亮度分布4向F电路基板85传送的步骤”，(步骤5) 变更成“被定义在计算机基板79上的第一复原图像初始值修正单元W7将从G电路基板81传 送的劣化图像的亮度分布1作为复原图像初始值的推定亮度分布3及修正复原图像初始值 的推定亮度分布7之后，基于PSF的亮度分布4的图像尺寸对修正复原图像初始值的推定亮 度分布7的运算困难区域8进行计算，再对修正复原图像初始值的推定亮度分布7的运算困 难区域8进行修正，再将修正复原图像初始值的推定亮度分布7作为劣化图像的亮度分布1， 再将修正复原图像初始值的推定亮度分布7向F电路基板85传送的步骤”，省略了(步骤6)及 (步骤7)。

第二机顶盒101的面向TV影像的第二超分辨率处理装置32不具有PSF复原单元。由 此，第二机顶盒101的处理速度是第一机顶盒69的约2倍，但存在对由F设定单元70设定的劣 化指示数18敏感这样的缺点。第二机顶盒101是高速的，从而通过将因高速化而被缩短的处 理时间用于增加迭代运算次数，来实现图像复原画质的提高。由此，第二机顶盒101的I设定 单元71的默认被设定成256阶中的5。

确认到：就第二机顶盒101的图像复原能力而言，只要能够充分且正确实施由F设 定单元70设定的PSF的亮度分布的特定，就能够得到不逊色于第一机顶盒69的结果。

实施例5是将本发明的面向TV影像的第二超分辨率处理装置32的第三方式硬件化 的第三机顶盒103。第三机顶盒103被变更制作成能够由第五图像复原单元W116构成第二机 顶盒101的F电路基板85的FPGA的程序。由此，第三机顶盒103的内部结构是从图28的结构中 去除P电路基板84，代替第一机顶盒程序78使用第三机顶盒程序104，除此以外，全部与第一 机顶盒69相同。由此，没有改写地显示图28。另外，第一机顶盒69和第三机顶盒103之间的不 同仅是机顶盒的序号，没有改写地显示图30。

第三机顶盒程序104是由C++语言编写的程序，能够由搭载在计算机基板79上的 CPU读取并执行，被事先安装，该程序以如下的方式被编写并在投入电源开关75时在初始化 后自动执行：对PSF的亮度分布进行特定的第二PSF特定单元W60中的单元W121(图20)定义 在计算机基板79内的计算机中，而且，单元W121所参考的PSF数据库19(图10、图20)构成在 HDD83内，此外，第五图像复原单元W116以外的面向TV影像的第二超分辨率处理装置32的第 三方式的全部单元被定义，并且在与第三机顶盒103内的硬件之间能够顺畅地进行信息交 换。

实施例5的第三机顶盒103中的处理顺序与第二机顶盒101相同。

第三机顶盒103与第二机顶盒101同样地不具有PSF的亮度分布复原单元，从而比 第一机顶盒69高速，但图像复原单元是环状构造，处理速度比第二机顶盒101慢，但是，与最 大6级串联连接第二单次图像复原单元W93的第四图像复原运算单元W94相比，使用了与第 二单次图像复原单元W93相当的运算单元只要1级即可的第五图像复原运算单元W116，从而 FPGA内的逻辑门规模为约1/5，是经济的。逻辑门规模不能成为1/6的理由是需要具备劣化 图像的亮度分布保存用缓冲器16及复原图像初始值的推定亮度分布用缓冲器17，会大量地 消耗FPGA内的块存储器。从超分辨率处理品质方面来说，虽然第三机顶盒103与第二机顶盒 101同样地受到劣化指示数18的影响，但在实用上与第一机顶盒69没有差异，能够得到与图 27所示的例子那样的结果。

工业实用性

只要利用TV影像无论是何种用途都能够应用本发明，从而能够被利用于进行摄像 机或数字相机的开发/制造的精密设备产业及电子设备产业，应用程序或游戏等的软件开 发产业、内窥镜或MRI等医疗设备产业、显示器等的信息设备产业、监视相机等的防灾/防犯 罪设备产业、档案产业等。

附图标记说明

1劣化图像的亮度分布，2TV影像，3复原图像初始值的推定亮度分布，4PSF的亮度 分布，5PSF初始值的推定亮度分布，6最大迭代运算次数，7修正复原图像初始值的推定亮度 分布，8运算困难区域，9复原PSF的推定亮度分布，10最大似然复原PSF的亮度分布，11复原 图像的推定亮度分布，12最大似然复原图像的亮度分布，13超分辨率TV影像信号，14最终 值，15最终值，16劣化图像的亮度分布保存用缓冲器，17复原图像初始值的推定亮度分布用 缓冲器，18劣化指示数，19PSF数据库，20图像文件名，211帧大小的TV影像信号，22RGB信 号，23剩余的TV影像信号，24YUV信号，25Y劣化图像的亮度分布，26U劣化图像的分布，27V劣 化图像的分布，28YUV复原图像的分布，29RGB复原图像的分布，30RGB信号，31面向TV影像的 第一超分辨率处理装置，32面向TV影像的第二超分辨率处理装置，33第一超分辨率处理装 置程序，34计算机，35面向TV影像的第一超分辨率处理系统，36数字TV影像信号输入输出端 子，37TV影像输入基板，38超分辨率TV影像，39超分辨率TV影像输出基板，40影像显示模式 指定按键，41条件显示指定按键，42超分辨率处理模式切换控制电路基板，43数字TV影像线 缆，44总线线缆，45第三存储介质，46面向TV影像的第一超分辨率处理装置图标，47显示器， 48用户，49装置程序，50超分辨率处理窗口创建程序，51超分辨率处理窗口监视程序，52超 分辨率处理窗口，53键盘，54鼠标，55关闭按键，56劣化指示数设定按键，57最大迭代运算次 数设定按键，58影像窗口，59地上数字化TV，60信息窗口41，61超分辨率处理开始按键44，62 超分辨率处理中断按键45，63超分辨率处理再开按键46，64超分辨率处理停止按键47，65帮 助按键，66影像放大/缩小按键49，67面向TV影像的第二超分辨率处理系统67，68第五超分 辨率处理装置程序54，69第一机顶盒，70F设定单元，71I设定单元，72模式开关，73条件显示 开关，74LCD显示器，75电源开关，76LED灯，77外壳，78第一机顶盒程序，79计算机基板，80上 变频电路基板，81G电路基板，82R电路基板，83HDD，84P电路基板，85F电路基板，86电源电路 基板，87散热风扇，88LAN端子，89USB端子，90USB端子，91USB端子，92商用交流单相100V电 源线缆，93总线线缆，94高频线缆，95电源线缆，96信号线，97信号线，98数字信号线缆，99频 道命令，100TV显示器，101第二机顶盒，102第二机顶盒程序，103第三机顶盒，104第三机顶 盒程序，F36第F36的函数，F37第F37的函数，F38第F38的函数，F39第F39的函数，F40第F40的 函数，F41第F41的函数，F42第F42的函数，F43第F43的函数，F44第F44的函数，F45第F45的函 数，F46第F46的函数，F47第F47的函数，F48第F48的函数，F49第F49的函数，F50第F50的函 数，F51第五十一函数，F52第五十二函数，F53第五十三函数，F54第五十四函数，F55第五十 五函数，F56第五十六函数，F57第五十七函数，F58第五十八函数，F59第五十九函数，F60第 六十函数，F61第六十一函数，F62第六十二函数，F63第六十三函数，F64第六十四函数，F65 第六十五函数，F66第六十六函数，F67第六十七函数，F68第六十八函数，F69第六十九函数， F70第七十函数，F劣化指示数，HDDHardDiskDrive，I最大迭代运算次数，S1第一劣化图 像准备工序，S2工序，S3第一PSF特定工序，S4～S6工序，S7第一复原图像初始值修正工序， S8～S16工序，S17PSF复原运算准备工序，S18第一PSF复原运算工序，S19第一PSF复原工序， S20工序，S21第二复原图像初始值修正工序，S22～S30工序，S31第一图像复原运算准备工 序，S32第一图像复原运算工序，S33第一图像复原工序，S34第一TV影像化工序，S40～S46工 序，S47单次PSF复原工序，S47-1第一级的单次PSF复原工序，S47-2第二级的单次PSF复原工 序，S47-F最终级的单次PSF复原工序，S48第二PSF复原运算工序，S49～S57工序，S58第一单 次图像复原工序，S58-1第一级的第一单次图像复原工序，S58-2第二级的第一单次图像复 原工序，S58-F最终级的第一单次图像复原工序，S59第二图像复原运算工序，S60第二PSF特 定工序，S61第二劣化图像准备工序，S62～S64工序，S65第四复原图像初始值修正工序，S66 ～S74工序，S75第二图像复原运算准备工序，S76第三图像复原运算工序，S77第二图像复原 工序，S78第二TV影像化工序，S80～S87工序，S88第二单次图像复原工序，S88-1第一级的第 二单次图像复原工序，S88-2第二段的第二单次图像复原工序，S88-F最终级的第二单次图 像复原工序，S89第四图像复原运算工序，S90～S92工序，S93第六复原图像初始值修正工 序，S94～S105工序，S106第五图像复原运算工序，S110～S111工序，S120RGB信号提取工序， S121延迟工序，S122YUV转换工序，S123Y劣化图像提取工序，S124去伽马工序，S130～S134 工序，W1第一劣化图像准备单元，W2单元，W3第一PSF特定单元，W4～W6单元，W7第一复原图 像初始值修正单元，W8～W17单元，W18PSF复原运算准备单元，W19第一PSF复原运算单元， W20第一PSF复原单元，W21第二复原图像初始值修正单元，W22～W31单元，W32第一图像复原 运算准备单元，W33第一图像复原运算单元，W34第一图像复原单元，W35第一TV影像化单元， W40～W46单元，W47单次PSF复原单元，W47-1第一级的单次PSF复原单元，W47-2第二级的单 次PSF复原单元，W47-F最终级的单次PSF复原单元，W48第二PSF复原运算单元，W50～W57单 元，W58第一单次图像复原单元，W58-1第一级的第一单次图像复原单元，W58-2第二级的第 一单次图像复原单元，W58-F最终级的第一单次图像复原单元，W59第二图像复原运算单元， W60第二PSF特定单元，W61第二劣化图像准备单元，W62第四复原图像初始值修正单元，W63 单元，W64设定最大迭代运算次数6，W65～W74单元，W75第五复原图像初始值修正单元，W76 ～W77单元，W78第二图像复原运算准备单元，W79第三图像复原运算单元，W80第二图像复原 单元，W81第二TV影像化单元，W85第六复原图像初始值修正单元，W86～W92单元，W93第二单 次图像复原单元，W93-1第一级的第二单次图像复原单元，W93-2第二级的第二单次图像复 原单元，W93-F最终级的第二单次图像复原单元，W94第四图像复原运算单元，W100～W103单 元，W104第七复原图像初始值修正工序，W105～W115单元，W116第五图像复原运算工序， W120～W121单元，W130RGB信号提取单元，W131延迟单元，W132YUV转换单元，W133Y劣化图像 提取单元，W134去伽马单元，W140～W144单元。