首页> 中国专利> 一种植物群体三维表型数据采集装置及方法

一种植物群体三维表型数据采集装置及方法

摘要

本发明提供一种植物群体三维表型数据采集方法及装置,所述装置包括:服务器、底部开口的采集箱体、控制升降装置以使所述采集箱体上下活动的采集系统组件、水平装设于所述采集箱体内部的传感器组件阵列;所述传感器组件阵列包括多组传感器组件,多组所述传感器组件呈类圆形结构分布;所述采集系统组件,还用于控制所述传感器组件阵列采集目标小区内的植物群体观测数据;所述服务器用于接收由每个所述传感器组件阵列所采集的植物群体观测数据,并对所有的所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。本发明实现了采用多传感器高通量获取植物群体的三维表型数据,有效地提高了植物群体三维表型数据获取的效率以及精度。

著录项

  • 公开/公告号CN113822896A

    专利类型发明专利

  • 公开/公告日2021-12-21

    原文格式PDF

  • 申请/专利号CN202111013344.2

  • 申请日2021-08-31

  • 分类号G06T7/10(20170101);G06T7/246(20170101);G06T7/33(20170101);G06T7/80(20170101);G06T5/50(20060101);G06T17/00(20060101);

  • 代理机构11002 北京路浩知识产权代理有限公司;

  • 代理人肖艳

  • 地址 100097 北京市海淀区曙光花园中路11号农科大厦A座1107

  • 入库时间 2023-06-19 13:46:35

说明书

技术领域

本发明涉及农业信息技术领域,尤其涉及一种植物群体三维表型数据采集装置及方法。

背景技术

在植物表型高通量、高精度获取是数字化育种和数字化种植管理的关键环节,也是技术瓶颈之一。当前,按照尺度划分,植物表型高通量平台分为:高空遥感平台、低空无人机平台、室内室外田间平台、表型车平台、机器人平台、定点监测、便携式平台以及微观显微平台等。各平台挂载的表型传感器类型不尽相同,包括:激光雷达传感器、多光谱传感器、高光谱传感器、高清RGB传感器、热红外传感器、荧光传感器等。

在获取的表型方面,主要分为植物群体、单株、器官等不同尺度的形态结构表型数据:如叶长、叶宽、株高、冠层覆盖度等。植物表观颜色纹理表型数据:如叶片颜色、叶片纹理、果实颜色、绿叶面积等。还包括能反应植物生长状态的生理生化表型等。

当前已有不同类型的表型平台,用于高通量获取植物表型。主要技术缺陷包括以下几个方面:

(1)植物表型的尺度和精度难以协同;

(2)难以高通量获取植物多维表型;

(3)多通道传感器难以在三维表型结构上融合建模。

发明内容

本发明提供一种植物群体三维表型数据采集装置和方法,用以解决现有技术中难以实现采用多传感器高通量获取植物群体的三维表型数据的缺陷。

第一方面,本发明提供一种植物群体三维表型数据采集装置,包括:服务器、底部开口的采集箱体、控制升降装置以使所述采集箱体上下活动的采集系统组件、水平装设于所述采集箱体内部的传感器组件阵列;所述传感器组件阵列包括多组传感器组件,多组所述传感器组件呈类圆形结构分布;所述采集系统组件,还用于控制所述传感器组件阵列采集目标小区内的植物群体观测数据;所述服务器用于接收由所述传感器组件阵列所采集的植物群体观测数据,并对所有的所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。

根据本发明提供一种植物群体三维表型数据采集装置,所述传感器组件阵列通过滑轨组件水平设置于所述采集箱体内;所述滑轨组件,用于接收所述采集系统组件的控制指令,以执行所述控制指令,使得所述传感器组件阵列在所述采集箱体内上下移动。

根据本发明提供一种植物群体三维表型数据采集装置,所述滑轨组件,包括:设置在所述采集箱体内部边角处的至少一个第一滑轨组件和设置在所述采集箱体内部侧面处的至少一个第二滑轨组件;每个所述第一滑轨组件包括V型连接件、第一直线滑轨、与所述第一直线滑轨配套的第一传动滑块;所述V型连接件固设在所述第一传动滑块上;在所述V型连接件上设置有至少一个所述传感器组件;每个所述第二滑轨组件包括直线连接件、第二直线滑轨、与所述第二直线滑轨配套的第二传动滑块;在所述直线连接件上设置有至少一个所述传感器组件。

根据本发明提供一种植物群体三维表型数据采集装置,所述传感器组件,包括:云台和表型传感器;所述云台固定在连接件表面,所述连接件包括所述V型连接件和所述直线连接件;所述表型传感器固定在云台上;所述云台用于调整所述表型传感器的角度。

根据本发明提供一种植物群体三维表型数据采集装置,所述表型传感器至少包括:激光雷达传感器、RGB图像传感器、光谱图像传感器中的一种。

根据本发明提供一种植物群体三维表型数据采集装置,还包括:标定组件;所述标定组件,包括上平面、下平面和支撑柱;对所述上平面进行着色处理;所述标定组件通过所述下平面设置于所述目标小区内,且使得所述上平面所在平面和地面平行。

第二方面,本发明还提供一种植物群体三维表型数据采集方法,包括:获取目标小区内的植物群体观测数据;所述植物群体观测数据是利用所述传感器组件阵列对所述目标小区内的植物群体进行上下遍历扫描获取的;对所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。

根据本发明提供一种植物群体三维表型数据采集方法,所述植物群体观测数据包括RGB图像序列和多通道光谱图像序列;所述对所述植物群体观测数据进行数据融合,生成植物群体三维表型数据,包括:采用运动结构算法和多视角立体重建算法对所述RGB图像序列进行处理,生成第一点云;基于所述多通道光谱图像序列,生成第二点云;根据所述第二点云通过迭代最近点算法将所述第一点云与所述第二点云进行点云配准,生成第三点云;分别对所述第二点云和所述第三点云进行基于体素的降采样,并对降采样后的第二点云以及第三点云进行点云融合,生成植物群体三维表型数据,融合后的点云顶点具有可见光和光谱多通道颜色信息。

根据本发明提供一种植物群体三维表型数据采集方法,所述基于所述多通道光谱图像序列,生成第二点云,包括:通过线形变换函数,将多通道光谱图像序列转化为多通道彩色图像序列;基于多通道彩色图像序列,采用运动结构算法和多视角立体重建算法,生成多个初始第二点云;采用线形变换逆函数对各初始第二点云的顶点颜色进行处理,生成带光谱通道的三维点云;对所有带光谱通道的三维点云进行基于体素的降采样,融合降采样后的带光谱通道的三维点云,生成第二点云。

根据本发明提供一种植物群体三维表型数据采集方法,在通过迭代最近点算法对第一点云和第二点云进行点云配准之前,还包括:根据所述标定组件的三维模型中上平面的面积和实际的标定组件的上平面的面积,计算出点云的还原比例;按照还原比例将第一点云和第二点云还原为所述目标小区的尺寸。

本发明提供的植物群体三维表型数据采集装置及方法,通过在采集箱体内设置传感器组件阵列,对目标小区内植物群体进行上下遍历扫描获取植物群体观测数据,并且对所述植物群体观测数据进行数据融合生成植物群体三维表型数据,实现了采用多传感器高通量获取植物群体的三维表型数据,有效地提高了植物群体三维表型数据获取的效率以及精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的植物群体三维表型数据采集装置的结构示意图之一;

图2是本发明提供的植物群体三维表型数据采集装置的结构示意图之二;

图3是本发明提供的第一滑轨组件结构示意图;

图4是本发明提供的第二滑轨组件的结构示意图;

图5是本发明的稠密型传感器组件阵列平面结构示意图;

图6是本发明提供的稀疏型传感器组件阵列平面结构示意图;

图7是本发明提供的标定组件的结构示意图;

图8是本发明提供的标定组件在目标小区的分布示意图;

图9是本发明提供的植物群体观测数据融合方法流程图;

图10是本发明提供的植物群体三维表型数据采集方法流程图;

图11是本发明提供的电子设备的结构示意图;

其中,附图标记为:

01:采集箱体; 02:升降装置; 03:传感器组件阵列;

04:供电组件; 05:网络组件; 06:补光组件;

07:采集系统组件; 08:标定组件; 031:第一滑轨组件;

032:第二滑轨组件; 0311:第一直线滑轨; 0312:第一传动滑块;

0313:V型连接件; 0314:传感器组件; 0321:第二直线滑轨;

0322:第二传动滑块; 0323:直线连接件; 081:上平面;

082:下平面; 083:支撑柱。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在本发明实施例的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

现有技术中的植物表型数据获取装置,在获取植物表型数据时存在一定缺陷。高空遥感平台和无人机平台,有较高的效率和通量,但通常获取的表型精度较差,只能反应出少数表型指标,且误差较大。

而以单株尺度和器官尺度的表型平台,通常需要人工取样操作,且获取时间较长,难以达到高通量要求,且需要较高的人工成本。

以表型车、大型导轨式表型平台为代表的表型平台,在群体尺度上有较好的通量和精度权衡。但受制于表型箱体单点式结构设计,在获取植物三维群体表型方面,存在较大的误差缺失。

当前在表型车、大型导轨式表型平台上,已有的平台多是挂载单点的传感器箱体,在植物上面运行,仅仅支持植物群体上部表型测量。难以获取植物群体侧部、内部的表型新型。难以形成较高精度的三维表型。

当前获取的植物表型数据,多以单传感器表型指标为主,通常受到传感器的结构和技术参数、传感器的布局、数据获取的同步性等制约难以进行多通道传感器的数据融合。

针对上述问题,本发明提供了一种植物群体三维表型数据采集装置和方法。

下面结合图1-图11描述本发明实施例所提供的植物群体三维表型数据采集装置和方法。

图1是本发明提供的植物群体三维表型数据采集装置的结构示意图之一,如图1所示,该三维表型数据采集装置,包括:服务器、底部开口的采集箱体01、控制升降装置02以使采集箱体01上下活动的采集系统组件07、水平装设于采集箱体内部的传感器组件阵列03;传感器组件阵列03包括多组传感器组件,多组传感器组件呈类圆形结构分布;采集系统组件07,还用于控制所述传感器组件阵列01采集目标小区内的植物群体观测数据;服务器用于接收由传感器组件阵列03所采集的植物群体观测数据,并对所有的植物群体观测数据进行数据融合,生成植物群体三维表型数据。

采集箱体01可以选择为上顶面和下底面皆为正方形的梯形体结构,顶部和四周采用轻质不透光材料覆盖,下底面空置,两个正方形边长可不等,具体的边长可以根据植物种群的形态按照需要设置。

可选地,采集箱体01也可采用圆柱体、锥台等其他结构。

可以通过升降装置02将采集箱体01固定在表型平台载体上,表型平台载体可以为表型车、轨道式表型平台等。升降装置02可以采用升降导轨,升降导轨的一端固定连接在表型平台载体上,另一端与采集箱体01相连,使采集箱体01垂直悬挂在表型平台上,可以在升降导轨上通过传动滑块固定连接采集箱体,用于升降采集箱体01,调整采集箱体距离被测植物的距离。可以根据植物的高度,通过升降装置02调整采集箱体01在目标小区上方上下移动,以采集到植物群体多层植物群体观测数据。

传感器组件阵列03包括多个传感器组件,可以将多个传感器组件布置在一个类圆形结构上,实现所述多个传感器组件的类圆形结构分布。该类圆形结构可以为正多边形、椭圆形、圆形等形状,以使该传感器组件阵列03可以多视角的获取植物群体的植物群体观测数据。

传感器组件可以为高清相机、激光雷达传感器、多光谱传感器、热红外等设备中的一种或多种,另外传感器组件的数量和设置间隔可以根据采集的植物群体进行设置,本发明对此不作具体限定。

采集系统组件07可以设置在采集箱体01的内部,采集系统组件07可由控制器和采集器组成。控制器由集成板卡组成,用于控制本装置中的升降装置02的调节运行;采集器由工控机和安装于其中的采集系统组成,通过采集系统和控制器进行指令交换,自动化控制升降装置02的运行。

另外,采集系统组件07可借助采集系统与传感器组件阵列进行数据交互,且能通过采集系统与服务器进行数据交互,以控制所述传感器组件阵列03采集目标小区内的植物群体观测数据,并将上述植物群体观测数据发送给服务器。

本发明中的目标小区可以根据植物种群的具体特点和传感器组件阵列03能够采集到的面积范围进行划分。例如,在小麦田间种植区域,设置每一个种植小区为100cm*100cm的种植区域,小区之间设置50cm间隔,以方便表型车通过。

植物群体观测数据即为所述传感器组件阵列03中的传感器组件采集的各种数据,不同的传感器组件可以采集到不同类型的数据。例如,RGB高清相机可以获取植物群体的RGB图像,多光谱相机可以获取植物群体的光谱图像。

可以在服务器端,部署植物表型数据处理系统,对其获取到植物群体观测数据进行数据融合以生成植物群体三维表型数据。植物群体三维表型数据,是基于植物群体建立的三维场景,基于上述三维场景,可以获取植物的形态结构,生长状态等植物表型信息。

可选地,本发明所提供的植物群体三维表型数据采集装置,还包括供电组件04,供电组件04可设置于采集箱体01的上部,用于为该装置供电。供电组件04可以由移动电源组成,也可以通过连接表型平台载体(表型平台、表型车)上的电源供电。

可选地,本发明所提供的植物群体三维表型数据采集装置,还包括网络组件05,网络组件05包括网络转发模块、传感器端通信模块、采集系统通信模块三部分。网络转发模块用于建立传感器组件和采集系统组件之间的网络通信,以及采集系统组件07和服务器之间的网络通信。

可选地,网络转发模块中设置无线网卡和无线路由,通过无线网卡建立采集系统组件07和服务器之间的网络连接,实现采集工况的远程控制,实现采集数据的无线传输和服务器存储。

可选地,本发明所提供的植物群体三维表型数据采集装置,还包括,固定于采集箱体01的顶部的补光组件06,上述补光组件06可由多组补光灯组成,以形成采集箱体01内的均匀光源。补光灯可由LED光源或卤素光源组成。

本发明提供的植物群体三维表型数据采集装置,通过在采集箱体内设置传感器组件阵列,对目标小区内植物群体进行上下遍历扫描获取植物群体观测数据,并且对所述植物群体观测数据进行数据融合生成植物群体三维表型数据,实现了采用多传感器高通量获取植物群体的三维表型数据,有效地提高了植物群体三维表型数据获取的效率以及精度。

根据上述实施例,作为一种可选实施例,本发明提供的植物群体三维表型数据采集装置,其中的传感器组件阵列03通过滑轨组件水平设置于所述采集箱体01内;所述滑轨组件,用于接收所述采集系统组件07的控制指令,以执行所述控制指令,使得所述传感器组件阵列03在采集箱体01内上下移动。

本发明中的传感器组件阵列03可以为一体式结构,并且通过滑轨组件使其水平设置于所述采集箱体01内。

可选地,该滑轨组件配套有传动滑块,可以将传感器组件阵列03与传动滑块固定连接。该滑轨组件在接收到采集系统组件07的控制指令的情况下,可以控制传动滑块带动传感器组件阵列03在所述采集箱体01内上下移动。可选的,滑轨组件通过电机实现上述移动,并且获取植物种群的多层植物群体观测数据。

本发明提供的植物群体三维表型数据采集装置,通过设置滑轨组件使得传感器组件阵列可以在采集箱体内上下移动,更加有利于传感器组件阵列对植物群体进行上下遍历扫描,以获取更加完整和精确的植物群体观测数据。

图2是本发明提供的植物群体三维表型数据采集装置的结构示意图之二。如图2所示,本发明提供的植物群体三维表型数据采集装置的包括两类滑轨组件,分别为第一滑轨组件031和第二滑轨组件032。其中,第一滑轨组件031设置于采集箱体01的四个边角,第二滑轨组件032设置于采集箱体01的四个侧面中部。

图3是本发明提供的第一滑轨组件结构示意图,如图3所示,第一滑轨组件031包括V型连接件0313、第一直线滑轨0311、与所述第一直线滑轨0311配套的第一传动滑块0312。所述V型连接件0313固设在所述第一传动滑块0312上。在所述V型连接件0313上设置有至少一个所述传感器组件0314。

图4是本发明提供的第二滑轨组件的结构示意图。如图4所示,第二滑轨组件032包括直线连接件0323、第二直线滑轨0321、与所述第二直线滑轨0321配套的第二传动滑块0322;在所述直线连接件0323上设置有至少一个所述传感器组件0314。本发明提供的植物群体三维表型数据采集装置通过第一滑轨组件031和第二滑轨组件031,可以构成传感器组件阵列03,并且可以根据传感器组件0314的形成不同稠密程度的传感器组件阵列03。

图5是本发明的稠密型传感器组件阵列平面结构示意图,图6是本发明提供的稀疏型传感器组件阵列平面结构示意图。如图5和图6所示,可以通过改变V型连接件0313和直线连接件0323的长度,以及布置的传感器组件0314的数量构造不同稠密程度的传感器组件阵列03。可以根据实际需求,采用上述方法构成所需的传感器组件阵列03。

本发明提供的植物群体三维表型数据采集装置,通过第一滑轨组件和第二滑轨组件形成了可以在采集箱体内上下移动的传感器组件阵列,从而实现采集箱体的整体的升降以及传感器组件阵列的升降,实现多传感的同步采集,提高了数据获取效率和精度。

根据上述实施例,作为一种可选实施例,本发明提供的植物群体三维表型数据采集装置,所述传感器组件,包括:云台和表型传感器;可将云台固定在连接件的表面,上述连接件包括所述V型连接件0313和直线连接件0323;所述表型传感器固定在云台上;所述云台用于调整所述表型传感器的角度。

可以将云台固定在连接件上,并将表型传感器固定在云台上,通过云台可调整表型传感器的角度。也可以在云台上布置姿态传感器,可以通过姿态传感器记录表型传感器的姿态信息。

本发明提供的植物群体三维表型数据采集装置,通过云台调整表型传感器的角度,可以使得表型传感器采集到不同角度下的数据,能够有效的获取目标小区内的植物群体的多视角数据,提高后期植物群体的三维表型数据的精度。

根据上述实施例,作为一种可选实施例,本发明提供的植物群体三维表型数据采集装置,所述表型传感器至少包括:激光雷达传感器、RGB图像传感器、光谱图像传感器中的一种。

根据不同的植物群体和实际需要,可以选用不同类型的表型传感器,如:表型传感器可以选为高清相机、激光雷达、多光谱、热红外等传感器中的一种或多种。

本发明提供的植物群体三维表型数据采集装置,通过在传感器组件阵列上设置多种类型的表型传感器,能够有效保证同步采集多通道传感器的数据,且保证各类传感器的空间位置一致性,方便后续实现多传感器的融合。

图7是本发明提供的标定组件的结构示意图。如图7所示,所述标定组件08,包括上平面081、下平面082和支撑柱083,标定组件08竖直置于目标小区中。

其中,上平面081可以是正方形,其上着色或喷绘棋盘格图案,且上平面预先经过了磨砂处理,能避免镜面反射。可以将下平面082通过螺钉固定于目标小区中,以固定标定组件08,保证标记组件08的上平面081和地面水平。

图8是本发明提供的标定组件在目标小区的分布示意图,如图8所示,在每一个被测植物小区内放置一个标定组件,形成标定阵列。通过在目标小区内设置标定组件08,用于把重建的植物群体的三维场景还原为实际尺寸。

本发明提供的植物群体三维表型数据采集装置,通过设置标定组件方便对三维表型数据进行校准,有效地提高了最终获取的三维表型数据的精度。

根据上述实施例,作为一种可选实施例,本发明提供一种运用物群体三维表型数据采集装置的植物群体三维表型数据采集方法,该方法包括:获取目标小区内的植物群体观测数据;对所有的植物群体观测数据进行数据融合,生成植物群体三维表型数据。其中,所述植物群体观测数据是利用上述实施例中的传感器组件阵列对目标小区内的植物群体进行上下遍历扫描获取的。

本发明提供的植物群体三维表型数据采集方法,通过在采集箱体内设置传感器组件阵列,对目标小区内植物群体进行上下遍历扫描获取植物群体观测数据,并且对所述植物群体观测数据进行数据融合生成植物群体三维表型数据,实现了采用多传感器高通量获取植物群体的三维表型数据,有效地提高了植物群体三维表型数据获取的效率以及精度。

图9是本发明提供的植物群体观测数据融合方法流程图,如图9所示,在植物群体观测数据包括RGB图像序列和多通道光谱图像序列的情况下,对植物群体观测数据进行数据融合(也可以对其它类型的数据进行融合),生成植物群体三维表型数据的步骤,主要包括:

步骤101:采用运动结构算法和多视角立体重建算法对所述RGB图像序列进行处理,生成第一点云;

步骤102:基于所述多通道光谱图像序列,生成第二点云;

步骤103:根据所述第二点云通过迭代最近点算法将所述第一点云与所述第二点云进行点云配准,生成第三点云;

步骤104:分别对所述第二点云和所述第三点云进行基于体素的降采样,并对降采样后的第二点云以及第三点云进行点云融合,生成植物群体三维表型数据。

下面,对上述步骤的在具体实施例中的可能的实现方式做进一步说明。

步骤101:采用运动结构算法和多视角立体重建算法对所述RGB图像序列进行处理,生成第一点云。

在本步骤中,主要是对传感器组件阵列03上设置的RGB图像传感器相机采集的RGB图像序列进行处理,以生成第一点云。另外,为方便表述将RGB图像传感器相机简称为RGB相机。

RGB图像序列包括多组图像,该图像由多组RGB图像传感器相机拍摄得到。具体形式如下:

{fig1,fig2,fig3,…,fign}

其中,fig为RGB图像,n为RGB相机点位数。

可选地,预先在传感器组件阵列03上布置好用于设置RGB相机的点位,并且对其进行编号,然后分别将与编号对应的RGB相机布置在传感器组件阵列对应的点位上。

作为一种可选实施例,步骤101的实施过程如下:

首先,基于运动结构算法(Structure-from-motion,SFM),通过尺度不变特征变换(Scale-invariant feature transform,SIFT)计算多视角图像局部特征描述子,找到相邻图像之间的共同特征,计算出每一个RGB相机的外部参数(相机位置和镜头朝向)、内部参数(相机焦距和径向畸变)以及目标小区(包括植物群体)的三维稀疏点云。

然后,在计算出的RGB相机点对应的相机参数的基础上,基于多视点立体重建算法(Multi-View-Stereo,MVS),生成每幅图像对应的深度图,进一步由相邻深度图生成目标小区的三维稠密点云,即为第一点云Pc

第一点云Pc

步骤102:基于所述多通道光谱图像序列,生成第二点云。

在本步骤中,多通道光谱图像序列是通过光谱图像传感器相机(简称为,光谱相机)拍摄获得的。每一个光谱波段对应一张灰度图像,即对于m通道的光谱相机采集的光谱图像序列,其表达式为:

{

{Gray

{Gray

{Gray

...,

{Gray

}

其中,k代表光谱相机点位数,m代表光谱图像通道,Gray为单通道光谱灰度图像。光谱相机的设置方式可以参照上述RGB相机的设置方式。

作为一种可选实施例,步骤102的实施过程如下:

(1)通过线形变换函数,将多通道光谱图像序列转化为多通道彩色图像序列。

以一个通道的光谱图像序列为例,下面对将其转化为彩色图像序列的过程进行说明。

首先,对于光谱图像序列{Gray

可以通过线性变换函数将上述光谱灰度图像中的每一个像素进行线性变换,把灰度图像转化为彩色图像。线性变换的公式如下:

采用上述方法,对每一个光谱图像序列中的灰度图像进行变换,可以将多通道光谱图像序列转化为多通道彩色图像序列:

{

{Rgb

{Rgb

{Rgb

...,

{Rgb

}

(2)基于多通道彩色图像序列,采用运动结构算法和多视角立体重建算法,生成多个初始第二点云。

在将多通道光谱图像序列转化为多通道彩色图像序列后,针对每一个通道的彩色图像序列,例如{Rgb

(3)采用线形变换逆函数对各初始第二点云的顶点颜色进行处理,生成带光谱通道的三维点云;

对于每一个初始第二点云Pc(x,y,z,r,g,b)可以构建上述线形变换函数的逆函数,通过逆函数把初始第二点云的顶点彩色颜色值(r,g,b)转换为光谱通道灰度值spect,形成4分量光谱点云Pc(x,y,z,spect)。

(4)对所有带光谱通道的三维点云进行基于体素的降采样,融合降采样后的带光谱通道的三维点云,生成第二点云。对上述处理后的所有初始第二点云进行基于体素的降采样,并进行点云的融合。

以两个4分量光谱点云的融合为例,查询得到每一个体素体中的点,利用利用欧式距离计算点云Pc和Pc'中每个体素内的最近距离的两个点Pc_v和Pc'_v,采样得到融合后的点云Pc

可选地,多个光谱点云进行融合时,可以根据每一个体素内的多个光谱点云的点的坐标,计算出该体素的重心坐标,并将该重心作为上述多个光谱点云的点融合后的点,采用同样的方法遍历所有的体素,即完成了点云的融合。

形成的多通道光谱点云Pc

步骤103:根据所述第二点云通过迭代最近点算法将所述第一点云与所述第二点云进行点云配准,生成第三点云。

首先采用迭代最近点(Iterative Closest Point,ICP)算法,对两个点云进行点云配准,包括:根据计算生成的第一点云Pc

通过迭代最近点算法将第一点云转换为第三点云后,为后续第三点云和第二点云的融合提供了条件。

步骤104:分别对所述第二点云和所述第三点云进行基于体素的降采样,并对降采样后的第二点云以及第三点云进行点云融合,生成植物群体三维表型数据。

可选地,参照步骤102中对两个点云进行的融合方法,对第三点云Pc'

从三维场景中,可以提取出植物群体三维表型数据,并基于植物群体三维表型数据可以获得植物的三维表型。

本发明提供的植物群体三维表型数据采集方法,通过将多传感器采集的植物群体观测数据,即RGB图像序列和多通道光谱图像序列进行基于点云的数据融合,融合后的点云顶点具有可见光和光谱多通道颜色信息,可以更加有效地提高表型数据的效率、精度。

基于上述实施例,作为一种可选实施例,本发明提供的植物群体三维表型数据采集方法,在通过迭代最近点算法对第一点云和第二点云进行点云配准之前,还包括:根据所述标定组件的三维模型中上平面的面积和实际的标定组件的上平面的面积,计算出点云的还原比例;按照还原比例将第一点云和第二点云还原为所述目标小区的尺寸。

基于上述实施例中的方法,在获得第一点云和第二点云后,即建立了目标小区的三维场景,但是该三维场景是基于表型传感器获取的,与实际的目标小区的三维场景在尺寸上是不一致的,需要对其进行校准。

可选地,在对第一点云和第二点云进行融合处理之前,对第一点云和第二点云进行标定校准,以将第一点云和第二点云建立的三维场景还原为实际的尺寸。

由于预先在每一个目标小区内都设置了标定组件,而且所述标定组件的上平面进行了处理,如着色处理或者喷绘棋盘格图案等。基于标定组件上表面的形态特征和颜色纹理特征,可以从建立的三维场景中分割出标定组件三维模型;

通过计算标定组件三维模型中上平面的面积,和实际的标定组件的上平面的面积,并进行比较,可以获得三维场景的还原比例尺,也即点云的还原比例尺。通过上述还原比例尺即可把三维场景为目标小区的实际尺寸。

另外,还可以计算标定组件的三维模型中上平面的中心点位置,结合标定组件上平面距离地面的距离和目标小区面积,从建立的三维场景中,分割出小区单元的植物三维表型数据,并取出地面和周围其它小区噪声数据。

本发明提供的植物群体三维表型数据采集方法,基于目标小区内设置的标定组件,实现了对三维场景的标定,可以更加真实的还原实际的三维场景,从而获取更加精确的三维表型数据。

下面以大田种植的小麦为实验场景,采用表型车搭载本发明所提供的植物群体三维表型数据获取装置,描述应用本发明的装置获取植物群体三维表型数据的实施过程。

图10是本发明提供的植物群体三维表型数据采集方法流程图,如图10所示,该方法的具体实施过程如下。

小麦田间种植小区(即目标小区):每块种植小区100cm*100cm的种植面积,小区之间50cm间隔,适合表型车通过。

标记组件08放置:在种植小区的横向间隔带放置标记组件,行向间隔带用于表型车行走。标定组件08由金属制成,上平面081正方向边长为6cm,并喷制黑白相间的棋盘格图案,并进行磨砂打磨,防止平面镜面反光。

采集箱体01结构:按照图1结构进行箱体设计,其中梯形体的上表面正方形的边长为120cm,下表面边长为150cm,高度为50cm采集箱体01的外结构采用轻质的不透光材料加工制作,底面中空。

采集箱体01通过直线滑轨和表型车体相连接,连接在表型车的车底板部,选用的表型车为四轮车,车底盘距离底面高度为200cm,车宽150cm。直线导轨固定在地板下部位置,表型箱体通过滑块连接在直线导轨上,表型箱体通过直线导轨的传动电机,可进行上下滑动调整表型箱体距离小麦冠层的高度。

在采集箱体01内,四角固定第一滑轨组件031,第一直线滑轨0311呈斜上下固定安装于采集箱体01内,每个第一滑轨组件031采用电机控制其上第一传动滑块0312上下滑动,以此带动调整第一传动滑块0312上的传感器组件0314的高度位置。同样的方式,第二滑轨组件032固定于采集箱体01的四面中部。所有的传感器组件0314形成传感器组件阵列03,传感器组件阵列03在同一高度上类圆形结构分布。

如图5所示,可布局成稠密型传感器组件阵列,在每个第一滑轨组件031上安装3组传感器组件,在每个第二滑轨组件032上安装5组传感器组件0314,传感器组件0314之间固定距离间隔分布。如图6所示,可布局成稀疏型传感器阵列03,在每个第一滑轨组件031上安装1组传感器组件0314,在每个第二滑轨组件032上安装3组传感器组件0314,传感器组件0314之间固定距离间隔分布。

传感器组件0314挂载方式如下:在同一点位并行挂载高清RGB相机传感器和多光谱相机传感器,两传感器通过固定板位置固定,并通过固定板连接到云台上。调整云台的角度,使传感器组件0314的角度成水平面向下45度角方向。

在采集箱体01的上部,设置网络通信模块,网络组件05分为网络转发模块、传感器端通信模块、采集系统通信模块三部分组成。网络转发模块建立传感器和采集系统之间的网络通信,网络转发模块建立采集系统和服务器之间的网络通信。在网络转发模块中设置无线网桥和无线路由,通过网桥建立采集系统组件和服务器之间的网络连接,实现采集工况的远程控制,实现采集数据的无线传输和服务器存储。

在采集箱体01的上部,设置补光组件06,补光组件06分布在采集箱体01的上顶部平面四周,补光组件06采用LED补光灯,使采集区域具有一直的光照条件,避免植物冠层因外界光导致的受光不均匀现象。

在采集箱体01的上部,设置供电组件04,供电组件04采用220v,50000毫安的移动电源,用于为装置的传动系统和采集系统供电。

在采集箱体01的上部,设置采集系统组件07,包括用于控制采集箱体01中滑轨电机的控制板和一台工控机。电机控制板集成控制采集箱体01内各直线滑轨的电机。工控机中安装数据采集系统。

数据采集系统的工作流程:按照小麦小区的地块长度,设置表型车的行驶速度。对于小麦苗期数据,不需多层数据采集,在此模式下,以行驶速度,设置传感器的采集间隔时间,实现在表型车匀速行驶的过程中,固定间隔数据采集、存储,通过网络模块把采集的小区单元数据发送到服务器进行存储。针对拔节后期的小麦群体表型数据,因采集一层的多视角数据难以保证数据的获取精度,因此采用2层或多层数据采集的模式,在该模式下,采用表型车匀速形式,到小区中央后停止行驶,出发阵列传感器数据采集,并自动调节传感器的高度,再次进行数据采集,依次形成多层的多视角表型数据采集,传输存储到服务器,完成后,驱动表型车前行,移动到下一个数据采集小区,开展新一轮的数据采集流程。

植物三维群体表型数据处理流程:在服务器端,部署管道式植物表型数据处理系统,首先进行多视角数据拼接合成,对于获取的多视角RGB图像序列,采用多视角重建技术SFM+MVS,生成带有顶点颜色的小麦群体三维点云数据;对于获取的多视角光谱图像序列,通过像素转换和扩充,生成类RGB图像序列,进一步采用多视角重建技术SFM+MVS,生成带有光谱顶点颜色的小麦群体三维点云数据。形成两类小麦种植群体的三维点云数据。

然后,进行数据标定,以一种三维点云数据的标定为例。基于标定组件08的上平面081的形态特征和颜色纹理特征,从上述点云建立的目标小区的三维场景中分割出标定组件08三维模型;计算标定组件08三维模型中上平面081面积,和实际的标定组件08的上平面081面积,进行比较,计算出三维场景三维表型数据的还原比例尺,把重建三维场景三维表型数据还原为正确尺寸;计算标定组件08三维模型中上平面081中心点位置,结合标定组件08的上平面081距离地面的距离,结合种植小区面积,从三维场景三维数据中,分割出小区单元的植物群体的三维表型数据,取出地面和周围其它小区噪声数据。

最后,进行两类点云数据的融合,上述实施例中介绍的点云融合方法,形成植物多源融合三维表型数据。

需要说明的是,上述数据标定的步骤可以在两类点云数据融合之前,也可以在两类点云数据的融合之后。具体如何执行数据标定,可以根据实际情况进行设置。

基于以上步骤,可实现小麦小区群体三维表型数据的分割提取,并为后期小麦群体表型提取提供高精度、多通道融合的三维表型数据。

本发明方案能够有效地集成在田间表型平台、设施表型平台、表型车等移动式载体上,能够实现植物群体原位、三维表型的高通量获取,有效克服当前表型平台在保证通量的情况下,难以保证表型的精度的问题。

图11是本发明提供的电子设备的结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行植物群体三维表型数据采集方法,该方法包括:获取目标小区内的植物群体观测数据;所述植物群体观测数据是利用所述传感器组件阵列对所述目标小区内的植物群体进行上下遍历扫描获取的;对所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。

此外,上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的植物群体三维表型数据采集方法,该方法包括:获取目标小区内的植物群体观测数据;所述植物群体观测数据是利用所述传感器组件阵列对所述目标小区内的植物群体进行上下遍历扫描获取的;对所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的植物群体三维表型数据采集方法,该方法包括:获取目标小区内的植物群体观测数据;所述植物群体观测数据是利用所述传感器组件阵列对所述目标小区内的植物群体进行上下遍历扫描获取的;对所述植物群体观测数据进行数据融合,生成植物群体三维表型数据。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号