一种多光谱图像处理方法及装置

摘要

一种多光谱图像处理方法及装置，应用于图像处理领域。该方法包括：获取多个宽波段通道图像；检测到用户输入的视觉任务信息和标注信息，视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，标注信息与第一视觉任务相关联；基于多个宽波段通道图像和标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，所述第一参数为用于评价所述第一视觉任务的效果，N为正整数。采用上述方法可以解决目前的多光谱图像处理方法并不能很好地满足用户的实际需求的问题。

说明书

技术领域

本申请涉及图像处理领域，尤其涉及一种多光谱图像处理方法及装置。

背景技术

多光谱成像是指针对场景在多个光谱波段下进行成像。多光谱成像包括丰富的场景信息，因此是一个非常耗时的过程，同时对存储空间的需求也较大。

研究发现：多光谱图像存在较大的冗余，舍去其中的部分数据并不影响其内容的表达。目前常用的方法是利用高光谱传感器，通过不同的波长捕获大量连续的波段图像，然后从所有的波段图像中选择相关性小、信息量大的波段图像代表整个光谱波段的图像，进而可以获得与整个光谱波段的图像近似相等的处理结果。

然而，在实际应用中，人们往往更多地关注场景中的某些信息，如行人、车辆等，对于一些背景信息并不关心。因此，目前的多光谱图像处理方法并不能很好地满足用户的实际需求。

发明内容

本申请实施例提供一种多光谱图像处理方法及装置，用于解决目前的多光谱图像处理方法并不能很好地满足用户的实际需求的问题。

第一方面，本申请实施例提供一种多光谱图像处理方法，该方法包括：获取多个宽波段通道图像，检测到用户输入的视觉任务信息和标注信息，基于所述多个宽波段通道图像和所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，其中，所述视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，所述标注信息与所述第一视觉任务相关联，M为正整数。每个M通道组合包括所述多个宽波段通道图像中的M个宽波段通道图像，且每个M个宽波段通道图像分别对应的通道宽度均落入所述通道宽度范围，所述第一参数为用于评价所述第一视觉任务的效果，N为正整数。

采用上述方法，可以根据用户输入的视觉任务信息和标注信息对图像进行处理，得到用户希望的宽通道图像组合。例如，用户希望得到对车辆A具有较好的成像效果的宽通道图像组合，第一视觉任务可以为目标车辆A识别，标注信息为针对车辆A的矩形框，那么通过上述方法可以为用户确定出针对车辆A具有较好成像效果或识别效果的M通道组合，因此能够解决目前的多光谱图像处理方法并不能很好地满足用户的实际需求的问题。

再比如，确定的所述M通道组合还可以用于对图像处理芯片进行工艺制备时参照。在确定第一参数按照从大到小的顺序排列在前N位的M通道组合之后，还可以根据这N个M通道组合中第一参数最大的M通道组合在图像处理芯片上镀膜，或者，还可以根据这N个M通道组合中镀膜工艺较为简单的M通道组合在图像处理芯片上镀膜。镀膜后的图像处理芯片包括M个通道。以M个通道对应红外波段为例，由于红外波段具有较好的透雾成像效果，因此，将镀膜后的芯片应用于自动驾驶的汽车上可以提升雾天或雾霾天的成像效果，提升自动驾驶的安全性。此外，镀膜后的图像处理芯片还可以应用于终端设备，进而可以提升用户的拍照体验。

在一种可能的设计中，获取多个宽波段通道图像，包括：导入多个窄波段通道图像；基于所述多个窄波段通道图像生成所述多个宽波段通道图像。采用上述设计，可以减少实际数据采集的种类，降低用户采集工作的复杂性。

在一种可能的设计中，基于所述多个窄波段通道图像生成所述多个宽波段通道图像，包括：检测到滤波器型号；基于所述滤波器型号对应的波形参数和所述多个窄波段通道图像计算所述多个窄波段通道图像分别对应的权重；基于所述多个窄波段通道图像分别对应的权重和所述多个窄波段通道图像生成所述多个宽波段通道图像。

采用上述设计，采用窄波段通道图像根据滤波器的波形参数拟合所需的宽波段通道图像，可以减少实际数据采集的种类，降低用户采集工作的复杂性。

在一种可能的设计中，在基于所述多个窄波段通道图像生成所述多个宽波段通道图像之前，还可以对所述多个窄波段通道图像进行亮度矫正，和/或对所述多个窄波段通道图像进行格式转换。以提高后续通道组合选择的准确性。

在一种可能的设计中，基于所述多个宽波段通道图像和所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合时，可以根据所述多个宽波段通道图像和所述通道宽度范围确定第一图像集合，所述第一图像集合中包括的至少一个宽波段通道图像分别对应的通道宽度均落入所述通道宽度范围；基于所述第一图像集合、所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合。

采用上述设计，可以确定第一参数按照从大到小的顺序排列在前N位的M通道组合。

在一种可能的设计中，基于所述第一图像集合、所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合时，可以基于所述第一图像集合、所述标注信息确定M个集合，其中，所述第i个集合是基于第i-1个集合确定的，所述第i个集合用于确定在所述第一图像集合中排序在前i位的宽波段通道图像的组合；根据所述M个集合中的第M个集合确定所述第一参数按照从大到小的顺序排列在前N位的M通道组合，i为1至M中的任意一个正整数。

采用上述设计，可以确定第一参数按照从大到小的顺序排列在前N位的M通道组合，且计算量较小，处理效率较高。

在一种可能的设计中，所述第一视觉任务可以为目标识别或实例分割；当所述第一视觉任务为目标识别时，所述标注信息可以包括所述目标识别所指示的目标的坐标信息；当所述第一视觉任务为实例分割时，所述标注信息可以包括所述实例分割所指示的目标的外形勾勒遮罩信息。

第二方面，本申请实施例提供一种多光谱图像处理装置，该系统包括数据预处理模块、人机交互模块和通道选择模块；其中：所述数据预处理模块用于获取多个宽波段通道图像；所述人机交互模块，用于检测到用户输入的视觉任务信息和标注信息，所述视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，所述标注信息与所述第一视觉任务相关联，M为正整数；所述通道选择模块，用于基于所述多个宽波段通道图像和所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，其中，每个M通道组合包括所述多个宽波段通道图像中的M个宽波段通道图像，且每个M个宽波段通道图像分别对应的通道宽度均落入所述通道宽度范围。所述通道选择模块确定的所述M通道组合用于对图像处理芯片进行工艺制备时参照。

第三方面，本申请实施例提供一种装置，所述装置包括用于执行第一方面和第一方面中的任意一种可能的设计的模块或功能组件。

第四方面，本申请实施例提供一种装置，包括处理器和接口电路，所述接口电路用于接收来自所述装置之外的其它装置的信号并传输至所述处理器或将来自所述处理器的信号发送给所述其它装置，所述处理器通过逻辑电路或执行代码指令以实现第一方面和第一方面中的任意一种可能的设计。

第五方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被装置执行时，实现第一方面和第一方面中的任意一种可能的设计。

第六方面，本申请实施例提供一种包含程序的计算机程序产品，当其在装置上运行时，使得装置执行第一方面和第一方面中的任意一种可能的设计。

上述第二方面至第六方面可以达到的技术效果可以参照上述第一方面和第一方面中的任意一种可能的设计可以达到的技术效果，这里不再重复赘述。

附图说明

图1为本申请实施例中多光谱图像处理方法的概述流程图；

图2为本申请实施例中人机交互接口的显示界面示意图之一；

图3为本申请实施例中人机交互接口的显示界面示意图之二；

图4为本申请实施例中多光谱图像处理装置的结构示意图之一；

图5为本申请实施例中多光谱图像处理装置的结构示意图之二；

图6为本申请实施例中量化评价值的计算过程之一；

图7为本申请实施例中示例1对应的输出结果；

图8为本申请实施例中量化评价值的计算过程之二；

图9为本申请实施例中示例2对应的输出结果；

图10为本申请实施例中一种装置的结构示意图之一；

图11为本申请实施例中一种装置的结构示意图之二。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

多光谱成像是指针对场景在多个光谱波段下进行成像。因此，多光谱成像数据量较大，信息量丰富，使得较好地完成视觉任务成为可能，例如实现精确地目标识别，因此多用于自动驾驶领域中道路目标物的识别，以及一些监控场景中目标物的识别等。同时，庞大的数据量难以避免的出现数据冗余现象，也为多光谱成像的处理带来了诸多问题和不便，例如计算量大，占用较大存储空间、非常耗时等问题。

以下先对本申请实施例中涉及的技术概念进行简要介绍。具体如下：

视觉任务是指用摄像机和计算机代替人眼对目标进行识别、跟踪等任务。本申请实施例可以应用但不限于以下目标识别、目标追踪、实例分割等视觉任务。

其中，目标识别，又可称为物体检测，是指给定一张图像或是一个视频帧，从中识别出所有目标的位置，并给出每个目标的具体类别。对于人类来说，目标识别是一个非常简单的任务。然而，计算机能够“看到”的是图像被编码之后的数字，很难确认图像或是视频帧中出现了人或是物体这样的高层语义概念，因此也就难以定位目标出现在图像中哪个区域。与此同时，由于目标可能会出现在图像或是视频帧中的任何位置，目标的形态千变万化，而且图像或是视频帧的背景也是千差万别。结合上述诸多因素都使得目标识别对计算机来说是一个具有挑战性的工作。

目标追踪，又可称为物体追踪，是指在特定场景跟踪某一个或多个特定感兴趣物体的过程。

实例分割，是在像素级识别对象轮廓的任务，是一个和物体检测非常相关但是更难的问题，在物体检测的基础上还要求分割出物体的像素。相对物体检测的边界框，实例分割可精确到物体的边缘。

YOLO(You Look Only Once)是一种基于深度学习的目标识别方法。U-Net是一种常用于图像分割的网络结构。U-net的主要优点为支持少量的数据训练模型，通过对每个像素点进行分类，可以获得更高的分割准确率，且利用训练好的模型分割图像速度较快。

交并比(intersection over union，IoU)是目标识别中经常使用的一个概念，表示产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。

为了解决目前的多光谱成像处理方法并不能很好地满足用户的实际需求的问题，本申请实施例提供一种多光谱图像处理方法，用以实现根据用户的实际需要处理多光谱成像。该方法可以应用于一个或多个计算机或其他处理设备，本申请实施例对此不作限定。以下以执行主体为计算机为例进行说明，计算机可以用于处理多光谱图像，同时计算机也可以具有多光谱成像能力。计算机也可以具备人机交互界面，并根据从人机交互界面中对获得的用户需求信息对多光谱成像进行处理。

应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系；在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。

如图1所示，为本申请实施例提出的多光谱图像处理方法的大致处理流程图，该方法具体包括：

步骤100：获取多个宽波段通道图像。

在一些实施例中，计算机可以通过但不限于以下方法获取多个宽波段通道图像。

首先，用户将多个窄波段通道图像导入计算机。计算机可以采取但不限于以下方式对多个窄波段通道图像进行预处理。

方式1：对多个窄波段通道图像进行格式转换。

由于上述多个窄波段通道图像的格式可能并不相同，计算机需要将上述多个窄波段通道图像的格式进行统一。例如，一些窄波段通道图像的格式为.jpg，还有一些窄波段通道图像的格式为.png，则计算机需要将导入的多个窄波段通道图像的格式进行统一。

方式2：对多个窄波段通道图像进行亮度矫正。

在采集多个窄波段通道图像时，由于光照不均匀，可能出现部分窄波段通道图像相对参考通道图像不对齐的情况，例如，偏移1-2个像素，则计算机需要将这些窄波段通道图像进行矫正。例如，计算机对每个窄波段通道图像的每个像素都乘以一个对应的矫正系数，需要注意的是，当矫正后的值大于正常数据范围时，需要将矫正的值进行截断，即归一化后的值为1，若矫正后的值大于1，则等于1。

方式3：对多个窄波段通道图像进行去模糊。

假设参考通道图像是清晰的，则计算机将参考通道图像与任一其他通道图像进行比对，并判断是否需要对该其他通道图像进行去模糊处理。

应理解的是，上述方式1～方式3所示的预处理方式进行仅为举例，还可能存在其他预处理方式，本申请实施例对此不作限定。

接下来，在对多个窄波段通道图像进行预处理之后，计算机基于多个窄波段通道图像生成多个宽波段通道图像。

示例性地，用户可以通过显示界面从预设的多个滤波器型号中选择一个滤波器型号，或者输入一个滤波器型号。然后，计算机检测到用户选择或输入的滤波器型号，基于滤波器型号对应的波形参数和多个窄波段通道图像计算上述多个窄波段通道图像分别对应的权重，并基于计算得到的多个窄波段通道图像分别对应的权重和上述多个窄波段通道图像生成多个宽波段通道图像。

采用上述设计，采用窄波段通道图像根据滤波器的波形参数拟合所需宽波段通道图像，可以减少实际数据采集的种类，降低用户采集工作的复杂性。

应理解的是，用户除了可以选择或输入滤波器型号，还可以选择或输入光栅型号，本申请实施例对此不作限定。

以下以液晶可调谐滤光器(liquid crystal tunable filter，LCTF)为例说明基于LCTF对应的波形参数和计算多个窄波段通道图像分别对应的权重，并基于多个窄波段通道图像分别对应的权重和多个窄波段通道图像生成多个宽波段通道图像的简要流程。

首先，用户可以通过显示界面从预设的多个滤波器型号中选择LCTF。计算机根据LCTF对应的波形参数计算多个窄波段通道图像分别对应的权重。如下公式1中，w

进一步地，根据计算所得到的权重，生成所需模拟的宽通道图像。如下公式2中φ

步骤110：检测到用户输入的视觉任务信息和标注信息，视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，标注信息与第一视觉任务相关联，M为正整数。

采用上述设计，通过人机交互的形式获得用户需求，可以面向多种视觉任务，且可以实现由用户个性化定制通道数目和通道宽度范围，灵活性较强，同时对不同的场景的集合具有较强的适应性。

在一些实施例中，用户可以在计算机的人机交互接口输入第一视觉任务，或者通过显示界面从预设的多个视觉任务中选择一个视觉任务。用户还需通过人机交互接口输入通道数目和通道宽度范围。示例性地，第一视觉任务可以为目标识别、目标追踪、实例分割等。在确定第一视觉任务后，计算机请求用户对当前的场景数据进行相关的标注，并记录该场景下的标注信息。

在一示例中，当第一视觉任务为目标识别时，标注信息包括目标识别所指示的目标的坐标信息。例如，当第一视觉任务为目标识别时，计算机请求用户对采集的场景图像进行标注，即在显示界面上对目标进行框选，计算机记录目标所在边界框的左上角和右下角坐标以及目标的标签信息。

可以理解的是，当假设拍摄时场景是静止的，因此，在每一幅图像(无论是宽波段通道图像或是窄波段通道图像)中的目标的位置和内容都是相同的，用户对图像进行标注的过程只是把目标标记出来，所以只要是“该场景”的图像都能用于标注。如图2和图3所示为短波红外中心波长为1310nm的图像，其中，中心波长为1310nm的图像在细节、亮度上都比较好，比较适合作为用于标注的图像。此外，还可以选择其他中心波长的图像作为用于标注的图像，本申请实施例对此不作限定。

如图2所示，目标的标签信息为车辆，目标识别所指示的目标的坐标信息包括该车辆所在边界框的左上角和右下角的坐标。进一步地，用户可以通过显示界面选择通道数目和通道宽度范围，例如，通道数目为3，通道宽度范围为100-200nm。应理解的是，目标还可以为人或动物等，目标的数量可以一个或多个，目标的坐标信息可以包括边界框的四个顶点的坐标或边界框的右上角和左下角的坐标，通道数目和通道宽度范围为还可以为其他数值。本申请实施例对此不作限定。

在另一示例中，当第一视觉任务为实例分割时，标注信息包括实例分割所指示的目标的外形勾勒遮罩信息。例如，当第一视觉任务为实例分割时，计算机请求用户对采集的场景图像进行标注，即在显示界面上对目标的轮廓进行勾勒，计算机记录目标的掩膜(mask)。

如图3所示，用户在显示界面上对人的轮廓进行勾勒，计算机记录勾勒后获得的mask。进一步地，用户可以通过显示界面选择通道数目和通道宽度范围，例如，通道数目为4，通道宽度范围为120nm。应理解的是，目标还可以为车辆或动物等，目标的数量可以一个或多个，通道数目和通道宽度范围为还可以为其他数值，本申请实施例对此不作限定。

步骤120：基于多个宽波段通道图像和标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，其中，M通道组合指示多个宽波段通道图像中的M个宽波段通道图像，且M个宽波段通道图像分别对应的通道宽度均落入第一通道宽度范围，第一参数为用于评价所述第一视觉任务的效果，N为正整数。

在一些实施例中，计算机可以根据多个宽波段通道图像和第一通道宽度范围首先确定第一图像集合，其中，第一图像集合中包括的至少一个宽波段通道图像分别对应的通道宽度均落入第一通道宽度范围。通过上述操作，可以首先将满足通道宽度范围的宽波段通道图像筛选出来，构成第一图像集合。

接下来，基于第一图像集合、标注信息和第一视觉任务对应的评价计算网络可以确定第一参数按照从大到小的顺序排列在前N位的M通道组合。其中，每个视觉任务对应的评价计算网络可以事先配置，或者，当视觉任务对应的评价计算网络为多个时，计算机可以请求用户从该视觉任务对应的多个评价计算网络中选择一个评价计算网络。

示例性地，当第一视觉任务为目标识别时，当第一视觉任务对应的评价计算网络可以为YOLO。当第一视觉任务为实例分割时，第一视觉任务对应的评价计算网络可以为U-Net。

采用上述设计，针对不同的视觉任务，应用对应任务的评价计算网络确定第一参数按照从大到小的顺序排列在前N位的M通道组合，相比传统的特征提取并计算的方法针对性更强。

应理解的是，本申请实施例中所涉及的评价计算网络仅为举例，还可以采用其他评价计算网络，本申请实施例对此不作限定。

其中，基于第一图像集合、标注信息和第一视觉任务对应的评价计算网络确定第一参数按照从大到小的顺序排列在前N位的M通道组合可以采用多种方法，以下以示例1和示例2为例进行说明。

示例1：第一图像集合中的任意M个宽波段通道图像构成P(M，M)个M通道组合，即每个宽波段通道图像为一个单通道图像，多个宽波段通道图像构成一个多个通道图像。因此，通过第一图像集合可以确定多个M通道组合。应理解的是，M个宽波段通道图像的顺序不同，构成的M通道组合不同。进一步地，可以将每个M通道组合输入至第一视觉任务对应的评价计算网络得到该M通道组合对应的计算结果，然后根据该计算结果与标注信息求得该M通道组合对应的第一参数。例如根据该计算结果与标注信息求交并比，将交并比作为该M通道组合对应的第一参数。又例如，根据该计算结果对应的置信度、该计算结果与标注信息的交并比，求得两项之积作为该M通道组合对应的第一参数。最后，根据各个M通道组合对应的第一参数确定第一参数按照从大到小的顺序排列在前N位的M通道组合。其中，以第一参数按照从大到小的顺序排列在第一位的M通道组合为例，该M通道组合对应的第一参数最大，根据该M通道组合可以确定M个宽波段通道图像，这M个宽波段通道图像的次序，以及这M个宽波段通道图像分别对应的通道宽度。

但是上述方法比较费时，处理效率不高。

示例2：基于第一图像集合、标注信息和第一视觉任务对应的评价计算网络采用顺序选择方法依次确定M个集合，其中，第i个集合是基于第i-1个集合确定的，第i个集合用于确定在第一图像集合中排序在前i位的宽波段通道图像的组合。进一步地，根据M个集合中的第M个集合确定第一参数按照从大到小的顺序排列在前N位的M通道组合。

具体的，顺序选择方法是指首先选定第一个通道，接着在第一个通道确定的基础上选择第二个通道。待两个通道选定后再选出第三个通道，以此类推直至达到所需通道数量。为了避免陷入局部最优，在顺序选取时同时引入部分随机通道。可以避免出现局部最优，确保最终筛选结果的最优性。

采用上述方法计算量较小，处理效率较高。

其中，示例2所采用的方法类似贪婪法，引入随机量可以缓解陷入局部最优。具体的实施方法为在选择时首先选出效果较好的N个宽波段通道图像。具体的，第一图像集合中包括的至少一个宽波段通道图像分别输入至第一视觉任务对应的评价计算网络得到每个宽波段通道图像对应的计算结果，然后根据每个计算结果与标注信息求得相应宽波段通道图像对应的第一参数。其中，效果较好的N个宽波段通道图像是指第一参数按照从大到小的顺序排列在前N位的N个宽波段通道图像。在第一图像集合中剩下的宽波段通道图像中随机选择若干个宽波段通道图像，将选出的若干个宽波段通道图像和N个宽波段通道图像用于下一轮的选择，直到选择结束。例如，共有10个宽波段通道图像(以下以1～10表示)，效果从好到差排序为1～10，顺序选取挑选出最好的几个宽波段通道图像(例如1～3)，在剩下的4～10中随机挑选若干个宽波段通道图像(如7，9)，在选出的单通道(1，2，3，7，9)基础上进行下一轮选择。类似第一轮的选择过程，假设还是挑选排序后最好的3个宽波段通道图像以及随机两个宽波段通道图像(如5，8)组成双通道组合，结果可以为(1-1，1-2，1-3，1-5，1-8，2-1，2-2，2-3，2-5，2-8，…，9-1，9-2，9-3，9-5，9-8)，每一个双通道组合中第二个通道的排序结果是基于第一个通道的。类似的，假设还是挑选排序后最好的3个宽波段通道图像以及随机两个宽波段通道图像(如6，10)组成三通道组合，结果可以为(1-1-1，1-1-2，1-1-3，1-1-6，1-1-10，…，9-8-1，9-8-2，9-8-3，9-8-6，9-8-10)，其中，同样的，每一个三通道组合中第三个通道的排序结果是基于前两个已选定的通道；以此类推直到选出指定的通道数目。例如，从最终的结果中选出效果最好的通道组合。三个通道组合的最终结果可能是7-2-1，但是若第一轮不引入随机量7和9，很有可能最终选择的三通道组合是一个效果比其差一点的组合。

经实验，在短波红外(short wave infrared，SWIR)波段利用上述方法选出的通道组成的三通道图像和表现最优的窄波段通道图像相较于单通道灰度图在人和车的目标识别任务中效果有明显的提升，见下表1。

表1

进一步地，在确定第一参数按照从大到小的顺序排列在前N位的M通道组合之后，可以根据这N个M通道组合中第一参数最大的M通道组合在图像处理芯片上镀膜，或者，还可以根据这N个M通道组合中镀膜工艺较为简单的M通道组合在图像处理芯片上镀膜。镀膜后的图像处理芯片包括M个通道。以M个通道对应红外波段为例，由于红外波段具有较好的透雾成像效果，因此，将镀膜后的芯片应用于自动驾驶的汽车上可以提升雾天或雾霾天的成像效果，提升自动驾驶的安全性。此外，镀膜后的图像处理芯片还可以应用于终端设备，进而可以提升用户的拍照体验。

此外，还可以根据这N个M通道组合中任意一个M通道组合的参数，从另一组宽通道图像中确定一个M通道组合，新确定出的M通道组合也能够较好地完成第一视觉任务，或者说针对第一视觉任的效果较好。比如，当两组宽通道图像的场景比较类似时，根据其中一组确定出M通道组合，基于确定出的M通道组合的参数在另一组宽通道图像中确定出M通道组合，那么后确定出的M通道组合在第一视觉任务中的效果也会比较好。

应理解的是，本申请实施例提供的方法可以应用于红外波段，也可以应用于可见光波段，本申请实施例对此不作限定。

如图4和图5所示，本申请实施例提供一种多光谱图像处理装置，该装置可以包括数据预处理模块、人机交互模块和通道选择模块；

数据预处理模块用于获取多个宽波段通道图像。人机交互模块，用于检测到用户输入的视觉任务信息和标注信息，视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，标注信息与第一视觉任务相关联，M为正整数。通道选择模块，用于基于多个宽波段通道图像和标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，其中，每个M通道组合包括多个宽波段通道图像中的M个宽波段通道图像，且每个M个宽波段通道图像分别对应的通道宽度均落入通道宽度范围，N为正整数。

示例性地，如图5所示，数据预处理模块具体可以用于窄波段通道图像矫正、窄波段通道图像格式转换，以及生成宽波段通道图像等操作。人机交互模块具体可以用于视觉任务选择，录入标注信息，录入通道数目和通道宽度范围等操作。通道选择模块具体可以用于获得不同M通道组合分别对应的第一参数，并基于多个宽波段通道图像和标注信息筛选出第一参数按照从大到小的顺序排列在前N位的M通道组合。

以下结合两个具体实示例对如上实施例进行详细说明：

示例1：如图2所示，第一视觉任务为目标识别，目标的标签信息为车辆，筛选目标为对场景车识别最优的短波红外波段三通道组合，其中，通道数目为3，通道宽度范围为100-200nm。

步骤1：用户将多个窄波段通道图像输入设备。示例性地，用户单击菜单栏的“打开数据”。进一步地，设备可以对多个窄波段通道图像进行格式转换或亮度矫正等操作。

步骤2：用户在显示界面中选择滤波器型号为“LCTF”。设备根据LCTF对应的波形参数计算多个窄波段通道图像分别对应的权重值，并根据多个窄波段通道图像分别对应的权重值生成多个宽波段通道图像。

步骤3：用户在显示界面选择视觉任务“目标识别”，并对采集的场景图像进行标注。设备记录车辆所在边界框的左上角和右下角坐标，获得标注信息，以及目标的标签信息为车辆。同时，用户还输入通道数目和通道宽度范围。其中，通道数目为3，通道宽度范围为100-200nm。

步骤4：设备执行通道选择，并输出结果。示例性地，用户点击显示界面中的按钮“通道选择”后，设备从多个宽波段通道图像中提取出所有符合通道宽度范围的宽通道图像，构成一个集合A，在集合A中应用顺序选择的方法对通道组合进行筛选，选择的依据为第一参数。如图6所示，每个三通道组合对应的第一参数是该三通道组合的计算结果(即预测边界框的坐标)与标注信息(即实际边界框的坐标)的交并比，与该三通道组合的计算结果的置信度之积。该三通道组合的计算结果是通过视觉任务“目标识别”对应的YOLO的评价计算网络获得的。输出结果如图7所示。

示例2：如图3所示，第一视觉任务为实例分割，目标的标签信息为人，筛选目标为对场景中人实例分割最优的可见光及近红外波段四通道组合。其中，通道数目为4，通道宽度范围为120nm。

步骤1和步骤2可以参阅上述示例1中的步骤1和步骤2，重复之处不再赘述。

步骤3：用户在显示界面选择视觉任务“实例分割”并对采集的场景图像进行标注，在设备记录人的mask，获得标注信息，以及目标的标签信息为人。同时，用户还输入通道数目和通道宽度范围。其中，通道数目为4，通道宽度范围为120nm。

步骤4：设备执行通道选择，并输出结果。示例性地，用户点击显示界面中的按钮“通道选择”后，设备从多个宽波段通道图像中提取出所有符合通道宽度范围的宽通道图像，构成一个集合A，在集合A中应用顺序选择的方法对通道组合进行筛选，选择的依据为第一参数。如图8所示，每个四通道组合对应的第一参数是该四通道组合的计算结果(即预测mask)与标注信息(即实际mask)的交并比。该四通道组合的计算结果是通过视觉任务“实例分割”对应的U-Net的评价计算网络获得的。输出结果如图9所示。

可以理解的是，为了实现上述实施例中功能，计算机可以包括用于执行上述各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。

图10和图11为本申请的实施例提供的可能的装置结构示意图。这些装置可以用于实现上述方法实施例中计算机的功能，因此也能实现上述方法实施例所具备的有益效果。在本申请的实施例中，该装置可以是如图1所示的计算机，还可以是应用于计算机的模块(如芯片)。

如图10所示，装置1000包括处理单元1010和收发单元1020。装置1000用于实现上述图1中所示的方法实施例中计算机的功能。

当装置1000用于实现图1所示的方法实施例中计算机的功能时：收发单元1020用于获取多个宽波段通道图像；获取检测到的用户输入的视觉任务信息和标注信息，所述视觉任务信息指示第一视觉任务、通道数目M和通道宽度范围，所述标注信息与所述第一视觉任务相关联，M为正整数；

处理单元1010用于基于所述多个宽波段通道图像和所述标注信息确定第一参数按照从大到小的顺序排列在前N位的M通道组合，其中，每个M通道组合包括所述多个宽波段通道图像中的M个宽波段通道图像，且每个M个宽波段通道图像分别对应的通道宽度均落入所述通道宽度范围，所述第一参数为用于评价所述第一视觉任务的效果，N为正整数。

有关上述处理单元1010和收发单元1020更详细的描述可以直接参考图1所示的方法实施例中相关描述直接得到，这里不加赘述。

如图11所示，装置1100包括处理器1110和接口电路1120。处理器1110和接口电路1120之间相互耦合。可以理解的是，接口电路1120可以为收发器或输入输出接口。可选的，装置1100还可以包括存储器1130，用于存储处理器1110执行的指令或存储处理器1110运行指令所需要的输入数据或存储处理器1110运行指令后产生的数据。

当装置1100用于实现图11所示的方法时，处理器1110用于实现上述处理单元1010的功能，接口电路1120用于实现上述收发单元1020的功能。

当上述装置为应用于计算机的芯片时，该芯片实现上述方法实施例中计算机的功能。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。