一种面向制造企业全流程制造管控的制造过程大数据建模方法

摘要

本发明公开了一种面向制造企业全流程制造管控的制造过程大数据建模方法，先对制造企业在设计、制造、管理和服务在内的业务中所产生的相关数据进行预处理，然后进行大数据分析，调整制造过程中因为设计、管理、服务在内的业务影响而发生改变的数据，建立起制造业务与设计、管理及服务业务之间的联系；最后建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型。本发明突破现有数据模型只是面向单一业务的问题，建立以制造业务数据为主，其他业务数据为辅的全体系全价值链贯通的大数据模型，辅助制造企业制定决策，合理规划生产计划，提高企业的生产效率，促进企业经济效益增长。

说明书

技术领域

本发明涉及生产制造和大数据的技术领域，尤其涉及到一种面向制造企业全流程制造管控的制造过程大数据建模方法。

背景技术

制造业是国民经济的支柱行业之一，是实现现代化的保障和综合国力的体现。随着经济与科技日益发展，现代制造业所产生的数据量呈指数型增长，使得大数据的潜能和价值逐渐被社会所认可和接收，大数据与制造业相结合，将推动制造业设计、管理、制造、服务模式的全面改革。但这类制造数据通常具有多源、异构、复杂等特点，这也是制造企业在进行大数据建模时所需要面临的主要问题之一。

现有的大数据模型只是面向制造企业的单一业务，没有考虑业务之间的相关性，忽略了设计、管理、服务等业务对制造过程所产生的影响，没有建立起制造业务与其他业务的关联关系，使得制造企业各业务之间的数据，没有得到充分地利用，导致不能对全流程的制造过程进行严格管控与合理规划。

此外，现有的数据建模方法大多基于确定的数据模式，不能有效地应对制造企业多源、异构和复杂制造数据的不确定性，没有建立覆盖设计、管理、制造、服务等多业务的模型，不能全面有效地描述制造过程。

发明内容

本发明的目的在于克服现有技术的不足，提供一种面向制造企业全流程制造管控的制造过程大数据建模方法，解决现有的大数据模型只是面向制造企业的单一业务、不能有效地应对制造企业中多源、异构和复杂制造数据的不确定性、没有考虑业务之间的相关性、忽略了设计、管理、服务等业务对制造过程所产生的影响、没有建立起制造业务与其他业务的关联关系等问题。

为实现上述目的，本发明所提供的技术方案为：

一种面向制造企业全流程制造管控的制造过程大数据建模方法，包括以下步骤：

S1、获取制造企业在设计、制造、管理和服务在内的业务中所产生的相关数据；

S2、对步骤S1获取到的数据进行预处理；

S3、对经过步骤S2预处理过的数据进行大数据分析，调整制造过程中因为设计、管理、服务在内的业务影响而发生改变的数据，建立起制造业务与设计、管理及服务业务之间的联系；

S4、建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型。

进一步地，所述步骤S2中进行的数据预处理包括数据集成、数据筛选以及数据清洗。

进一步地，所述的数据集成，通过将制造企业在设计、制造、管理和服务在内的业务中所产生的各类相关数据在逻辑上或物理上有效集成，从而为制造业务提供更完整全面的数据共享。

进一步地，所述的数据筛选，通过分析设计、管理、服务三个业务数据中对制造过程数据产生影响的可能性，筛选出相关的数据，剔除无关的变量。

进一步地，所述的数据清洗，包括：处理存在信息缺失的数据；处理逻辑上不合理的数据；处理相互矛盾的数据；处理重复的数据。

进一步地，所述步骤S3基于发布订阅的分布式消息系统Kafka进行，该系统Kafka的核心组件主要包括：

主题，为存储消息的逻辑概念，将其看作一个消息集合；系统Kafka按照不同的主题将消息进行分类，将主题划分成设计、管理和服务三个主题，不同数据源的业务数据放入不同的主题中；

信息，为消息队列通信的最基本单位；生产者向主题发布信息，而消费者会从已订阅的主题中取得信息进行消费；

生产者，为负责向某一个主题发送数据或消息的数据或消息源；经过步骤S2预处理的业务数据作为生产者，并根据数据源的不同分别向设计、管理和服务三个主题发送数据；

消费者，指订阅了主题并会从中提取消息或数据进行消费，即对系统Kafka中的数据进行分析处理的一方；消费者从系统Kafka的主题中对获取到的动态业务数据进行即时处理，即要求选用的消费者有流处理框架来应对实时场景；

Spark Streaming为基于Spark的针对实时数据流计算的组件，对动态数据快速分析并实时进行反馈，选用Spark Streaming作为消费者，以Spark Streaming为基础获取系统Kafka中主题的数据，对流数据进行实时的处理。

进一步地，对获取到的数据资源进行大数据分析，调整制造过程中因为其他业务影响而发生改变的数据，主要步骤包括：

Spark Streaming从系统Kafka的设计主题中读取到设计业务端获取的设计图纸、设计方案在内的数据信息，对从设计端中获取到的流数据调用API进行统计分析订单所需的人员数量、物料、设备在内的数据信息，将订单拆解，将订单制造所需的物料数量发送至管理业务端；

管理业务端接收到物料需求请求后，对于制造过程所需的物料进行配送，若是制造所需物料库存不足，则按需采购；管理业务端的物料配送数据信息，在经过步骤S2的数据预处理后，发送至系统Kafka的管理主题中；

Spark Streaming从系统Kafka的管理主题中读取到管理业务端获取的物料信息，调用API统计分析配送的物料数量信息，发送到制造业务端；调整制造业务中的物料数量信息，在制造过程中根据物料数量信息，对人员、设备和物料进行合理的分配生产，并对制造产品所需物料进行精准匹配，保障制造过程的顺利进行；

管理业务将已经生产制造好的部分产品交付于服务业务，由服务业务及时为客户进行配送，交付订单；客户在使用产品中发现存在瑕疵，反馈到服务业务中；服务业务端的反馈信息，经过步骤S2的数据预处理后，发送至系统Kafka的服务主题中；

Spark Streaming从系统Kafka的服务主题中读取到服务业务端获取的反馈信息，调用API根据产品对反馈信息进行分类，然后进行统计分析，通过分析对产品问题进行追溯，对于制造环节出现的问题，及时调整人员、设备、环境在内的信息；若是需要重新生产制造产品，则重复上述物料需求请求，物料配送步骤，完成生产制造。

进一步地，所述步骤S4建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型的具体步骤如下：

根据数据建立多元线性回归模型，其中多元线性回归的模型形式为：

y

上式中，y是因变量，β是待定系数，x是自变量，ε是剩余项；

通过最小二乘法进行参数估计，求出满足方程的β和ε，其中包括：

利用公式

最终得到满足方程并且与实际数据之间误差的平方和达到最小的系数，寻找出出最佳函数匹配；

求出系数后，需要对其回归显著性进行检验：

假设：H

检验统计量，其中SST为总平方和，SSE为误差平方和，p为自变量的个数，n为实际数据的分组数量：

通过构建出的F统计量，F越大，即为拟合效果越好；将计算得到的F值与查表得到的值进行对比，若F>F

与现有技术相比，本方案原理及优点如下：

本方案先对制造企业在设计、制造、管理和服务在内的业务中所产生的相关数据进行预处理，然后进行大数据分析，调整制造过程中因为设计、管理、服务在内的业务影响而发生改变的数据，建立起制造业务与设计、管理及服务业务之间的联系；最后建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型。

本方案突破现有数据模型只是面向单一业务的问题，不再将各业务产生的数据割裂来看，而是以制造业务作为中心点，与其他业务之间建立联系形成整体。在制造过程中考虑其他业务数据带来的影响，取出这类数据反馈到制造业务的数据中，及时调整制造过程中的数据，将其他业务产生的数据为制造过程所用，辅助制造企业制定决策，合理规划生产计划，提高企业的生产效率，促进企业经济效益增长。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种面向制造企业全流程制造管控的制造过程大数据建模方法的流程示意图；

图2为本发明实施例中数据清洗的示意图；

图3为本发明实施例中面向制造企业全流程制造管控的制造过程示意图；

图4为本发明实施例中面向制造企业全流程制造管控的制造过程核心模型结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种面向制造企业全流程制造管控的制造过程大数据建模方法，包括以下步骤：

S1、获取制造企业在设计、制造、管理和服务在内的业务中所产生的相关数据；其中，

设计是产品生命周期的首要环节，制造企业根据产品类型，选择CAD软件对产品模型方案进行设计，通过数据接口等方式，导入CAE软件中进行零件、整机的有限元分析及机构的运动分析,设计出产品结构并仿真出结果，投入生产制造。

针对制造企业的设计业务的大数据来源主要包括：CAD、CAE软件仿真系统数据、设计图纸、设计方案、设计案例、设计模型等数据。

管理作为产品生命周期的重要环节，通过WMS系统对仓储各环节进行全过程控制管理，可对库存实现条形码标签序列号管理，提供透明、及时、精细的库存信息，实现对企业的仓库、供应链进行管理，保证企业正确的进货、库存控制。

针对制造企业的管理业务的大数据来源主要包括：WMS系统数据、材料库存信息、供应链数据、售后信息等数据。

服务为产品生命周期的必要环节，制造企业通过网站、微信、APP等方式建立服务平台，对服务请求进行统一化管理，不仅有利于售后数据的整理，为企业提供决策数据，同时，优良的服务为建立企业品牌和传播形象的有效手段，是企业核心竞争力之一。

针对制造企业的服务业务的大数据来源主要包括：产品运行状态信息、客户反馈数据、客服记录、订单信息、物流配送信息等数据。

S2、对步骤S1获取到的数据进行预处理；

对制造过程中所使用的MES系统无法直接识别和运用CAD、CAE和WMS等软件、系统所产生的数据，因此对所获取到的其他业务数据资源需要进行一定的数据处理，包括数据集成、数据筛选和数据清洗等，为建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型提供数据支持。

将制造企业在设计、管理和服务等业务中所产生的各类相关数据进行一定规则地转换，在逻辑上或物理上进行有效集成，形成能够被识别和运用的数据或格式，从而为制造业务提供更完整和全面的数据共享。

在对获取的数据资源进行集成后，制造企业其他业务所产生的数据已经可以被识别和运用，但这类海量复杂的数据并不是每一个都会对制造业务造成影响，因此需要对数据资源筛选，通过分析设计、管理、服务等业务数据中对制造过程数据产生影响的可能性，筛选出相关的数据，剔除无关的变量。

由于在获取设计、管理和服务等业务数据过程中，可能会产生遗漏或奇异值，因此还需要对数据资源清洗，保证数据的完整性和正确性、避免后续由于数据不正确而引发一些不必要的问题，参考如图2所示，数据资源清洗主要步骤包括：

信息缺失数据的处理：对于这类数据中存在信息缺失的，可以在规定的时间内重新写入补全缺失信息。对于不能补全信息的数据，由于大量数据中剔除个别样本不会影响最终结果，所以直接做剔除处理。

逻辑上不合理数据的处理：同样可以在规定的时间内修改逻辑上不合理数据。对于没有进行修正的数据，直接做剔除处理。

相互矛盾数据的处理；相互矛盾的数据可能会干扰到对数据的分析，得到一个错误的结论，因此直接做剔除处理。

重复数据的处理：若通过一定的规则判断出存在数据重复，则对重复的数据进行合并处理。

S3、对经过步骤S2预处理过的数据进行大数据分析，调整制造过程中因为设计、管理、服务在内的业务影响而发生改变的数据，建立起制造业务与设计、管理及服务业务之间的联系；

本步骤基于发布订阅的分布式消息系统Kafka进行，该系统Kafka的核心组件主要包括：

主题，为存储消息的逻辑概念，将其看作一个消息集合；系统Kafka按照不同的主题将消息进行分类，将主题划分成设计、管理和服务三个主题，不同数据源的业务数据放入不同的主题中；

信息，为消息队列通信的最基本单位；生产者向主题发布信息，而消费者会从已订阅的主题中取得信息进行消费；

生产者，为负责向某一个主题发送数据或消息的数据或消息源；经过步骤S2预处理的业务数据作为生产者，并根据数据源的不同分别向设计、管理和服务三个主题发送数据；

消费者，指订阅了主题并会从中提取消息或数据进行消费，即对系统Kafka中的数据进行分析处理的一方；消费者从系统Kafka的主题中对获取到的动态业务数据进行即时处理，即要求选用的消费者有流处理框架来应对实时场景；

Spark Streaming为基于Spark的针对实时数据流计算的组件，对动态数据快速分析并实时进行反馈，选用Spark Streaming作为消费者，以Spark Streaming为基础获取系统Kafka中主题的数据，对流数据进行实时的处理。

如图3所示，对获取到的数据资源进行大数据分析，调整制造过程中因为其他业务影响而发生改变的数据，主要步骤包括：

Spark Streaming从系统Kafka的设计主题中读取到设计业务端获取的设计图纸、设计方案在内的数据信息，对从设计端中获取到的流数据调用API进行统计分析订单所需的人员数量、物料、设备在内的数据信息，将订单拆解，将订单制造所需的物料数量发送至管理业务端；

管理业务端接收到物料需求请求后，对于制造过程所需的物料进行配送，若是制造所需物料库存不足，则按需采购；管理业务端的物料配送数据信息，在经过步骤S2的数据预处理后，发送至系统Kafka的管理主题中；

Spark Streaming从系统Kafka的管理主题中读取到管理业务端获取的物料信息，调用API统计分析配送的物料数量信息，发送到制造业务端；调整制造业务中的物料数量信息，在制造过程中根据物料数量信息，对人员、设备和物料进行合理的分配生产，并对制造产品所需物料进行精准匹配，保障制造过程的顺利进行；

管理业务将已经生产制造好的部分产品交付于服务业务，由服务业务及时为客户进行配送，交付订单；客户在使用产品中发现存在瑕疵，反馈到服务业务中；服务业务端的反馈信息，经过步骤S2的数据预处理后，发送至系统Kafka的服务主题中；

Spark Streaming从系统Kafka的服务主题中读取到服务业务端获取的反馈信息，调用API根据产品对反馈信息进行分类，然后进行统计分析，通过分析对产品问题进行追溯，对于制造环节出现的问题，及时调整人员、设备、环境在内的信息；若是需要重新生产制造产品，则重复上述物料需求请求，物料配送步骤，完成生产制造。

S4、建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型。

参考如图4所示，制造过程中的数据不仅与设计、管理和服务等业务数据相互影响，还将影响制造企业的生产效率。利用这类数据可以建立面向设计、制造、管理、服务的全体系全价值链贯通的大数据模型，预测生产情况、生产进度等数据，帮助制造企业评估进度，制定生产计划，保障生产，包括以下步骤：

根据数据建立多元线性回归模型，其中多元线性回归的模型形式为：

y

其中，y是因变量，β是回归系数，x是自变量，ε是剩余项。

本实施例选取5个数据，5个数据分别为：人员信息、设备数据、物料信息、生产数据和环境信息。以制造企业的生产制造情况为因变量，如上5个数据作为自变量做多元线性回归。

通过最小二乘法进行参数估计，求出满足方程的β和ε，其中包括：

利用公式

最终得到满足方程并且与实际数据之间误差的平方和达到最小的系数，寻找出出最佳函数匹配。

求出系数后，需要对其回归显著性进行检验：

假设：H

检验统计量，其中SST为总平方和，SSE为误差平方和，p为自变量的个数，n为实际数据的分组数量：

通过构建出的F统计量，F越大，即为拟合效果越好；将计算得到的F值与查表得到的值进行对比，若F>F

本实施例突破现有数据模型只是面向单一业务的问题，不再将各业务产生的数据割裂来看，而是以制造业务作为中心点，与其他业务之间建立联系形成整体。在制造过程中考虑其他业务数据带来的影响，取出这类数据反馈到制造业务的数据中，及时调整制造过程中的数据，将其他业务产生的数据为制造过程所用，辅助制造企业制定决策，合理规划生产计划，提高企业的生产效率，促进企业经济效益增长。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。