一种基于Linux系统bash脚本控制的中尺度风能资源分析自动化运行系统

摘要

本发明公开一种基于Linux系统bash脚本控制的中尺度风能资源分析自动化运行系统，包括参数配置脚本文件、中尺度模式WRF前处理WPS运行脚本文件、中尺度模式WRF运行脚本、资料同化脚本文件、模式后处理资料同化脚本文件、模式产品生成LRPP脚本文件、运行控制脚本文件；避免了气象业务中常用的rocoto、ECflow、Airflow等复杂的作业流程控制软件，采用简单的bash脚本实现作业的提交、运行、监控、补算等功能；所有的参数配置都设置在参数配置脚本文件中，其余的脚本都采取模块化方法，实现任意方式运行；实现了将大格点数的区域范围分隔为若干个相对较小的格点区域进行中尺度模拟，在产品阶段进行区域拼接。

说明书

技术领域

本发明涉及中尺度风能资源分析技术领域，具体涉及一种基于脚本控制的自动化运行系统。

背景技术

气象模拟系统运行的流程控制与作业管理方式一般分为预报业务与科研两大类。其中预报业务应用软件主要包括rocoto(美国国家环境预报中心业务流程管理软件)和ECFlow(欧洲中期天气预报中心业务流程管理软件)；科研的作业管理方式比较随意，有采用上述两种软件的，也有采用Apache AirFlow的，但大部分的科研人员和科研项目采用的是手动管理或者python脚本、bash等脚本来进行控制。对于大部分气象业务和科研人员来说，不采用成熟的作业流管理软件的原因是：1)这些软件需要有一定的计算机知识才能正确安装，也就是说安装比较麻烦；2)是这些软件的安装都需要管理员账户，在一些超级计算机上，气象人员只是小部分用户，很难要求该系统使用此类管理软件；3)是这些作业流管理软件需要花时间去学习掌握。

发明内容

本发明要解决的技术问题是解决上述现有技术的不足，提供一种基于Linux系统bash脚本控制的中尺度风能资源分析自动化运行系统。

为了解决上述技术问题，本发明采用的技术方案为：一种基于Linux系统bash脚本控制的中尺度风能资源分析自动化运行系统，包括参数配置脚本文件、中尺度模式WRF前处理WPS运行脚本文件、中尺度模式WRF运行脚本、资料同化脚本文件、模式后处理资料同化脚本文件、模式产品生成LRPP脚本文件、运行控制脚本文件；

参数配置脚本文件参数包括试验运行目录、工作路径、源数据、WPS参数、WRF模式参数、GSI同化模式参数、UPP后处理参数；中尺度模式WRF前处理WPS运行脚本文件能自动获取时间、区域参数，根据配置文件生成WRF模式的初始场、边界条件、格点同化数据中尺度模式WRF运行脚本，该脚本自动获取时间、区域参数，根据配置文件运行WRF模式，生成模拟结果；资料同化脚本文件包括对已经处理好的观测资料进行数值资料同化质量控制、生成GSI同化所需要的preBUFR格式文件、进行GSI资料同化；模式后处理资料同化脚本文件运行UPP模块，从WRF模拟结果计算等地面高度层上的风能资源要素；模式产品生成LRPP脚本文件读取模式后处理资料同化脚本文件中的结果，生成风能资源产品；运行控制脚本文件根据计算机状态提交作业、监控作业状态、补交失败的作业。

进一步的，作业运行管理包括作业是否需要运行、是否正在运行、计算资源是否允许现在运行。

进一步的，在模式结束后，我们需要对数值模式输出进行处理，并输出等地面高度层上的风资源数据，运行步骤包括：

1)运行UPP模块，将数值模式数据转换到等地面高度层上的风资源要素grib2文件；

2)将每一个区域的grib2结果文件都处理到同样的经纬度网格点上：

3)将每个经纬度文件一次进行合并。

从上述技术方案可以看出本发明具有以下优点：避免了气象业务中常用的rocoto、ECflow、Airflow等复杂的作业流程控制软件，采用简单的bash脚本实现作业的提交、运行、监控、补算等功能；所有的参数配置都设置在参数配置脚本文件中，其余的脚本都采取模块化方法，实现任意方式运行；实现了将大格点数的区域范围分隔为若干个相对较小的格点区域进行中尺度模拟，在产品阶段进行区域拼接。

附图说明

图1为本发明的功能框图。

具体实施方式

以下结合附图对本发明的具体实施方式做具体说明。

本发明在Linux系统下，以bash语言为基础，实现风能资源中尺度再分析任务的作业运行、控制管理以及出错后的作业重新提交。如题1所示，其包括7个核心文件：(1)参数配置文件，该参数文件包含中尺度模式网格、区域、投影、文件系统、计算机信息等内容；(2)中尺度模式WRF前处理WPS运行脚本文件，该文件能自动获取时间、区域参数，根据配置文件生成WRF模式的初始场、边界条件、格点同化数据；3)中尺度模式WRF运行脚本，该脚本自动获取时间、区域参数，根据配置文件运行WRF模式，生成模拟结果；4)资料同化脚本文件，该文件包括对已经处理好的观测资料进行数值资料同化质量控制、生成GSI同化所需要的preBUFR格式文件、进行GSI资料同化；5)模式后处理资料同化脚本文件，该脚本运行UPP模块，从WRF模拟结果计算等地面高度层上的风能资源要素；6)模式产品生成LRPP脚本文件，该脚本文件读取5)中的结果，生成风能资源产品；7)运行控制脚本文件，该文件根据计算机状态提交作业、监控作业状态、补交失败的作业。

本发明的自动化运行系统避免了气象业务中常用的rocoto、ECflow、Airflow等复杂的作业流程控制软件，采用简单的bash脚本实现作业的提交、运行、监控、补算等功能；所有的参数配置都设置在参数配置脚本文件中，其余的脚本都采取模块化方法，实现任意方式运行；实现了将大格点数的区域范围分隔为若干个相对较小的格点区域进行中尺度模拟，在产品阶段进行区域拼接。

该系统的核心流程包括如下几个方面。

1.参数配置：

所有的参数配置都放在一个配置文件func_configuration.sh中，该文件中的参数包括试验运行目录、工作路径、源数据、WPS参数、WRF模式参数、GSI同化模式参数、UPP后处理参数等。示例如下：

2.分区运行：

由于全国高分辨率的需求以及计算资源的限制，很难满足我们用一个区域来进行全国的计算，主要的原因包括：1)运行全国2km格点模式运行时，格点数将达到3000x4000的量级，我们使用的超级计算机很难满足这样的资源需求；2)采用这样大的区域，需要很多节点来并行。一般来说，节点越多，并行效率越低下；3)我国地型复杂，西部有地形高度会超过7km，有些地方地形特别陡峭，两个格点之间地形高度差可以超过1000米。在这些复杂地形区域，为了保持系统运行的稳定性，需要采用短时间步长。如果全国一个区域的话，短时间步长将需要多一到五倍的计算资源。

分区的设置同样只需要在参数配置文件中设置，示例如下：

当运行模式系统时，将通过区域编码来配置各模块参数，实现分区运行。如WPS模块：

3.区域合并：

在模式结束后，我们需要对数值模式输出进行处理，并输出等地面高度层上的风资源数据。运行步骤包括：1)运行UPP模块，将数值模式数据转换到等地面高度层上的风资源要素grib2文件；2)将每一个区域的grib2结果文件都处理到同样的经纬度网格点上：

3)将每个经纬度文件一次进行合并：

4.作业运行管理：

作业运行管理包括作业是否需要运行、是否正在运行、计算资源是否允许现在运行等。分别示例如下：

1)作业是否需要运行

2)是否正在运行、是否有僵尸进程等

3)计算资源是否允许现在运行