一种基于大数据挖掘的公共政策分析模型部署方法及其系统

摘要

本发明提供了一种基于大数据挖掘的公共政策分析模型部署方法及其系统，所述方法步骤包括：通过自动化建表工具实现多终端数据采集，对采集数据进行建库和版本管理，利用机器学习进行标签标记，通过数据挖掘算法分析数据得出问题数据，通过计算引擎或算法分析问题数据得出解决方案，利用可视化工具使解决方案可视化呈现，建立分析模型。与现有技术相比，本技术通过数据的自动建表、更快速采集，实现多终端数据融合和快速采集；通过在基础库构建个人画像、企业画像，能够自我完善并迭代更新，实现基础库数据及时自我更新；利用数据挖掘算法实现问题自动建议、及时发现，使公共决策标准与问题能够自动预警发现、方案自动生成；利用数据挖掘算法实现方案系统打分、自动评估，解决最佳方案评估难、呈现难的问题；利用GIS、报表工具实现一张图可视化分析。

说明书

技术领域

本发明涉及数字信息的传输领域，尤其涉及一种基于大数据挖掘的公共政策分析模型部署方法及其系统。

背景技术

公共政策是政府为实现一定的社会政治、经济和文化目标所采取的政治行动或所规定的行为准则，是一系列谋略、法令、措施、办法、方法、条例等总称，用以规范、指导一切社会公共活动。其中，基层工作者是解决公共问题、达成公共目标、实现公共利益的最小单元，也是落实公共政策的前沿感受者。目前，现有技术方案主要是基于大数据挖掘技术面向基层工作者开展的公共信息智能分析、产学研公共服务以及政策智能匹配等公共活动，缺乏从基层采集、更新、分析、评估到最终指导高层决策的全链覆盖、深度实现的过程。

说明书内容

本发明为了弥补现有技术的不足，提供一种基于大数据挖掘的公共政策分析模型部署方法及其系统，通过综合利用云计算、数据挖掘算法、Spark计算引擎等大数据处理技术，提出一种全链条、完整覆盖、集假设、定义、描述、解释、对策于一体的公共政策分析模型，该模型基于自我完善与修正数据、主动分析问题、自动产生方案及可视化呈现的大数据挖掘分析功能，帮助高层决策者从基层服务中理性获取规划方案，以实现最优分配社会资源、解决社会问题及促进社会发展的目标。

本发明提供了一种基于大数据挖掘的公共政策分析模型部署方法，步骤如下：

通过自动化建表工具实现多终端数据采集，对采集数据进行建库和版本管理，利用机器学习进行标签标记，通过数据挖掘算法分析数据得出问题数据，通过计算引擎或算法分析问题数据得出解决方案，利用可视化工具使解决方案可视化呈现，建立分析模型。

进一步地，使用DLL语句进行建表，使用HTML5页面进行数据录入。

进一步地，使用WebService、RestFul或前置机方式与外部源系统对接进行数据采集。

进一步地，使用机器学习图论推理算法(Graph Inference)进行标签标记。

进一步地，使用数据挖掘朴素贝叶斯模型(Naive Bayesian Model，NBC)推算问题数据。

进一步地，使用Spark计算引擎对问题数据进行计算，得到解决方案。

进一步地，使用最大期望(EM)算法以及Adaboost迭代算法对问题数据进行计算，得到解决方案。

进一步地，使用Echarts、GIS和报表工具对解决方案进行数据可视化呈现，建立分析模型。

进一步地，使用电子地图对解决方案进行数据可视化呈现，建立分析模型。

另外，本发明还提供了一种基于大数据挖掘的公共政策分析系统，该系统包括以下结构：

数据采集模块：通过多终端接口方式采集数据，配置采集规则，管理采集日志；

版本管理模块：对采集和计算后的数据进行版本管理，完成数据渐进式自我完善和修正；

标签建设模块：从数据中心调出数据，根据配置项利用机器学习算法对采集的数据进行标签自动学习和标签标记；

画像构建模块：根据标签自动学习情况建立自然人或法人数据画像属性，构建自然人或法人数据画像存入数据中心；

计算建模模块：设置或自定义添加用于计算的配置项，通过数据挖掘算法分析数据得出问题数据，通过计算引擎或算法分析问题数据得出解决方案：

可视化呈现模块：将解决方案通过可视化工具进行呈现，建立分析模型；

数据中心：对数据进行汇聚、清洗、比对和去重，对数据目录进行管理，制定标准规范。

进一步地，数据中心根据数据类型建立标准库、基础库、业务库、算法库。

本发明提供的一种基于大数据挖掘的公共政策分析模型部署方法及其系统，相比于现有技术具有以下优点：

通过数据的自动建表、更快速采集，实现多终端数据融合和快速采集；通过在基础库构建个人画像、企业画像，能够自我完善并迭代更新，实现基础库数据及时自我更新；利用数据挖掘算法实现问题自动建议、及时发现，使公共决策标准与问题能够自动预警发现、方案自动生成；利用数据挖掘算法实现方案系统打分、自动评估，解决最佳方案评估难、呈现难的问题；利用GIS、报表工具实现一张图可视化分析。

附图说明

图1为实施例一的一种基于大数据挖掘的公共政策分析模型部署方法示意图。

图2为实施例二的一种基于大数据挖掘的公共政策分析系统示意图。

图3为实施例三的一种基于机器学习算法的标签自动学习示意图。

图4为实施例四的一种以饭堂选址为例推算问题示意图。

图5为实施例四的一种以饭堂选址为例推算解决方案示意图。

具体实施方式

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可以找说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和有点能够更明显易懂，以下为本发明的具体实施方式。

实施例一

参见图1，为本实施例提供的一种基于大数据挖掘的公共政策分析模型部署方法，所举实例只用于解释本发明，并非用于限定本发明的范围。具体实现步骤如下：

S1、通过WebService、RestFul或前置机方式与外部源系统对接采集数据；

S2、使用自动化建表工具建表并生成HTML5页面录入数据；

S3、建立基础库、业务库、标准库；

S4、对数据进行版本管理，每次修改都保留版本，为数据渐进式自我完善和修正提供基础；

S5、使用机器学习图论推理算法(Graph Inference)进行标签自动学习，对基础库、业务库、标准库的数据进行标签标记，完成数据渐进式自我完善和修正；

S6、使用数据挖掘朴素贝叶斯模型(Naive Bayesian Model，NBC)对数据进行问题结果推算，得到问题；

S7、对得到的问题利用Spark计算引擎或数据挖掘算法进行数据计算，得到解决方案；

S8、利用可视化工具对得到的解决方案进行数据可视化呈现，建立分析模型。

其中，步骤S2进一步包括：

S2.1、系统采集建表条件；

S2.2、将采集的条件翻译成DDL语言并建表；

S2.3、将采集的条件通过Java语言转换成HTML5页面；

S2.4、通过生成的HTML5页面录入数据。

其中，步骤S7所述数据挖掘算法还包括：利用最大期望(EM)算法以及Adaboost迭代算法对得到的问题进行数据计算，得到多个解决方案。

其中，步骤S8所述可视化工具还包括：利用Echarts工具、GIS工具、报表工具或电子地图对方案进行数据可视化呈现，建立分析模型。

实施例二

参见图2，为本实施例提供的一种基于大数据挖掘的公共政策分析系统，所举实例只用于解释本发明，并非用于限定本发明的范围。具体结构如下：

数据采集模块：通过多终端接口方式采集数据，配置采集规则，管理采集日志；

版本管理模块：对采集和计算后的数据进行版本管理，完成数据渐进式自我完善和修正；

标签建设模块：从基础库、业务库、标准库调出数据，根据配置项利用机器学习算法对采集的数据进行标签自动学习和标签标记；

画像构建模块：根据标签自动学习情况建立自然人/法人数据画像属性，构建自然人/法人数据画像，存入基础库；

计算建模模块：设置或自定义添加用于计算的配置项，通过数据挖掘算法分析数据得出问题数据，通过计算引擎或算法分析问题数据得出解决方案；

可视化呈现模块：将解决方案通过可视化工具进行呈现，建立分析模型；

标准库：汇聚和管理数据标准；

基础库：汇聚和管理基础数据、自然人/法人数据画像、标签标记数据等；

业务库：汇聚和管理业务数据；

算法库：汇聚和管理各类大数据挖掘分析算法，包括机器学习图论推理算法(Graph Inference)、数据挖掘朴素贝叶斯模型(Naive Bayesian Model，NBC)、最大期望(EM)算法以及Adaboost迭代算法等。

实施例三

参见图3，为本实施例提供的一种基于机器学习算法的标签自动学习方法，所举实例只用于解释本发明，并非用于限定本发明的范围。具体实现步骤如下：

S5.1、选择进行标签自动学习的数据库类型，包括基础库、业务库、标准库；

S5.2、设置配置项，比如录入次数、调用次数、排名顺序、是否忽略数据有效期、是否开启语义相似度分析，还可自定义添加更多配置项；

S5.3、选择启用的算法，比如机器学习图论推理算法(Graph Inference)；

S5.4、根据配置项利用算法进行标签自动学习；

S5.5、根据标签自动学习情况建立自然人/法人数据画像属性，比如基本属性、兴趣爱好、综合信用、就业情况、健康状况等；

S5.6、构建自然人/法人数据画像；

S5.7、对数据进行标签标记。

实施例四

参见图4，为本实施例提供的一种以饭堂选址为例推算问题的方法，所举实例只用于解释本发明，并非用于限定本发明的范围。具体实现步骤如下：

S6.1、设置配置项，比如时间跨度、60岁以上老人数、覆盖面积、每平方公里人口密度、社区经济收入、辖区党员志愿者人数，还可自定义添加更多配置项；

S6.2、选择启用的算法，比如朴素贝叶斯模型(Naive Bayesian Model，NBC)；

S6.3、根据配置项利用算法进行问题数据推算；

S6.4、得到问题，比如依据《关于加快推进长者助餐服务的工作方案》需要重点解决特困、独居、孤寡、高龄、失独、失能等特殊困难老年人吃饭难问题。

参见图5，为本实施例提供的一种以饭堂选址为例推算解决方案的方法，所举实例只用于解释本发明，并非用于限定本发明的范围。具体实现步骤如下：

S7.1、根据得到的问题设置配置项，比如政府预算、辖区内物业数据、辖区内道路交通数据、辖区内数字地图数据、辖区内物价数据，还可自定义添加更多配置项；

S7.2、选择启用的算法，比如最大期望(EM)算法、Adaboost迭代算法；

S7.3、根据配置项利用算法进行解决方案推算；

S7.4、得到解决方案，比如选址(租赁、自建)，面积、地址、用工种类数量等推荐。

本发明借助移动互联网、大数据等新一代信息技术手段，利用政务改革及政府部门的数据积累与应用分析，主动推送一揽子精准公共服务项目，实现在找准市民最迫切需求的同时，也对高效精准投放资源提供可行性参照，做到市民需求与公共资源高效投放的双向融合，切中市民群众的心坎。通过项目实施，实现将有限的政府资源惠及到更多的市民，从而提升政府的服务效率，实现公共资源利用的最大化，形成具有特色的基层政府“互联网+民生服务”的社会服务模式。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。