一种大宗商品交易中的监管商品智能化推荐方法与系统

摘要

本发明公开了一种大宗商品交易中的监管商品智能化推荐方法与系统。分为四个部分：大宗商品交易数据和行情数据的数据处理，行情数据关联商品发现，交易数据关联商品发现，构建关联商品集进行智能化推荐监管商品。本发明解决了大宗商品交易监管中存在的商品监管范围模糊和不确定的问题。首先，对商品的历史行情信息和交易信息进行数据预处理操作。其次，分析不同商品行情数据（价格波动等）的相关性，得到价格波动关联商品。然后，分析不同商品交易数据（交易行为等）的相关性，得到交易事件关联商品。最后，综合以上两步形成的关联商品，最后，构建关联商品集合，并根据监管任务信息对监管商品进行智能化推荐。

说明书

技术领域

本发明属于大宗商品电子商务监管技术领域，尤其涉及一种 大宗商品交易中的监管商品智能化推荐方法与系统。

背景技术

在大宗商品电子交易监管的过程中，监管任务的对象通常包括具 体的交易商品。由监管方发起的监管请求中可能需要多种不同的商品， 并且在监管的过程中还会涉及到其他的一些关联商品。传统的监管方 式，商品监管对象是单一固定的，易出现监管商品不全面等问题的出 现；而且当前大宗商品电子商务市场交易模式复杂多变，交易过程中 存在着诸多风险，因此对于大宗商品交易的监管十分必要。然而在实 际应用过程中，需要监管的商品对象往往设置单一、指向不明确，这 些问题加剧了异常商品的查验难度，使得异常商品的关联商品及其上 下游商品的异常更加难以被发现。例如，在市场交易中，铁矿石价格 的走高，往往可能是其上下游商品的价格异常导致的，而在之前不全 面的商品监管中，难以发现这种异常。因此，本发明提出的监管商品 智能化推荐方法显得尤为重要。

发明内容

为解决上述问题，本发明公开了一种大宗商品交易中的监管商品 智能化推荐方法与系统，该系统分为四个模块：商品交易数据和行情 数据的数据处理模块，行情数据关联商品发现模块，交易数据关联商 品发现模块，关联商品集构建及监管商品智能化推荐模块。系统中的 每个模块配合运行，根据监管任务信息以及监管商品的历史行情数据、 交易数据等，计算关联商品集，智能化推荐监管商品，让监管方更好 地选择合适的大宗商品进行监管。

主要方案如下所述：

第一部分是针对大宗商品交易数据和行情数据的数据处理。在实 际的大宗商品交易过程中，商品的交易价格波动将导致大量行情数据 产生，包括不同的价格月线、日线、分钟线等等；且数据维度多样， 包括一天内的最高价、最低价、开盘价、收盘价等，所以实际的价格 走势会非常复杂。考虑到以上大宗商品价格的实际特点，首先，针对 大宗商品的历史价格时间序列做相应的数据预处理操作。随后，为提 升行情数据的可读性，结合大宗商品交易市场的实际情况，选取每天 的收盘价作为当天的平均价格。最后，从交易数据中提取出交易商及 其参与涉及的交易商品，构建大宗商品交易事务集。

第二部分是分析不同商品行情数据的相似性，计算出价格波动关 联商品。首先根据上一步建立的商品历史价格时间序列，进行不同商 品之间的相似性度量。选取相关系数(即皮尔森相关系数，Pearson Correlation Coefficient)作为数学工具，度量两个变量之间的相关程 度，反映两个变量是正相关还是负相关。相关系数取值范围在[-1,1] 之间，-1表示绝对负相关，1表示绝对正相关，0表示没有相关性。 分别度量商品之间的短期价格相关性r_short和长期价格相关性 r_long，再同时考量上述两种价格相关性r_long和r_short，得到商品 价格波动关系的综合相关系数r_sim。若r_sim满足相似度阈值τ，则 认为这对商品为价格波动关联商品，并将其加入价格波动关联商品集 合中。

第三部分是分析不同商品交易数据的相关性，计算出交易事件关 联商品。首先，根据之前构建的大宗商品交易事务集，从中提取相应 的交易商事务以及商品对应的项。随后，在基于关联规则算法的基础 上进行算法改进：第一次扫描事务集，计算每个商品项的支持度计数， 将不满足支持度阈值的商品项进行剪枝操作，构建频繁一项集。再根 据频繁一项集构建候选二项集，第二次遍历事务集，将不满足阈值的 项进行剪枝，构建频繁二项集。最后，根据频繁二项集中的商品遍历 交易事务集，并进行置信度计算，将同时满足支持度阈值和置信度阈 值的商品定义为交易事件关联商品，并将其加入交易事件关联商品集。

第四部分是将之前得到的价格波动关联商品集和交易事件关联 商品集进行整合，根据监管任务要求，进行商品监管对象的智能化推 荐。以价格波动关联商品集合为主，构建关联商品集，再考虑交易事 件关联商品集中出现的相同的商品，将其折合到关联商品集合中。最 后，根据监管任务中的初始监管商品要求，在关联商品集中找到对应 的商品，推荐给监管方，达到智能化推荐监管商品的目的。

本发明分析不同商品行情数据的相关性得到价格波动关联商品。 从数据库中提取所需商品的历史行情信息，对这些信息进行相应的数 据预处理操作，并对不同商品之间的价格波动进行相似性度量，相似 性满足阈值，即为它们是价格波动关联商品。其次，分析不同商品交 易数据的相关性得到交易事件关联商品。从数据库中提取所需商品的 交易信息，进行数据处理得到交易事务集，再对商品进行关联规则算 法分析，满足关联规则(即支持度和置信度阈值)，则为交易事件关 联商品。最后，综合以上两步形成的关联商品，构建大宗商品关联表， 根据用户需求等条件，从当前监控的商品出发，在商品关联表中找到 对应的关联商品，将其智能化推荐给监管方。该方法与系统意味着通 过软件系统的计算，监管部门可以在监控相关商品时，根据监管任务 信息、历史交易信息、行情信息等，对商品监管对象进行智能化选取， 大幅提高监管的质量和效率。

本发明有益效果：

(1)提升商品监管范围选取的准确性本发明提出的方法与系 统基于用户需求进行相关行情数据和交易数据的挖掘，有效地提升了 商品监管范围选取的合理性和准确性，增加了发现异常商品的成功率。

(2)动态适应性和容错性与传统的基于关联规则的商品推荐 方法相比，本发明提出的智能化推荐方法只需要构建到频繁二项集就 可以进行关联商品提取，简化了大宗商品电子交易相关数据处理，使 得技术实现流程清晰，运行稳定。且增加了基于大宗商品行情数据的 关联商品挖掘，进一步确保关联商品发现的可靠性，在某些交易数据 缺乏的情况下，依旧可以得出行情数据关联商品，实现监管商品的智 能化推荐，使得系统具有良好的动态适应性。同时系统之间的各个模 块相对独立，且对数据的处理简洁明确，具有更高的容错性。

附图说明

图1是本发明方法的主要原理示意图。

图2是发现交易事件关联商品示意图。

图3是发现价格波动关联商品示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述 具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说 明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和 “下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或 远离特定部件几何中心的方向。

本实施例的大宗商品交易中的监管商品智能化推荐系统，包括： (1)数据处理

该方法与系统的第一个部分是数据处理部分，将大宗商品电子交 易市场中的行情数据和交易数据进行提取并处理成可用数据。如前文 所述，大宗商品市场交易具有交易数量大、价格波动大、商品种类丰 富、涵盖规模广等特点，在实际的交易过程中，将产生大量的行情数 据，包括不同的商品价格月线、日线、分钟线等；且数据维度多样， 包括一天内的最高价、最低价、开盘价、收盘价等，所以实际的价格 走势会非常复杂。考虑到以上大宗商品价格的相关特点，再结合大宗 商品交易市场的实际情况，有必要针对大宗商品的历史价格时间序列 做相应数据预处理操作：

①数据提取：在商品行情数据库中找到商品的历史价格日K数据。

②数据填充：将历史数据中的空缺值按前一天的价格进行填充。

③重新采样：取每天的收盘价closeprice作为当天的价格。

(2)价格波动关联商品发现

通过上一步建立的可读商品价格时间序列，分析不同商品之间的 价格波动的相似性，得到价格波动关联商品。例如分析商品M和商 品N的价格时间序列：X

其中X

①分析长期相关系数r_long：自监测日起至今的商品M与商品N 价格序列的相关系数，即上式中n的取值为数据库中记录的最大范围。

②分析短期相关系数r_short：最近100个交易日内，商品M和 商品N价格序列的相关系数，即上式中n的取值为100。

③同时考量r_long和r_short，得到商品M和商品N的综合相关 系数r_sim。

相关系数取值范围为[-1,1]，r_sim>0表示正相关，r_sim<0表示负 相关，|r_sim|表示变量之间相关程度的高低。通常|r_sim|大于某一设 定的阈值时，认为两个变量有很强的线性相关性。若商品M和商品N满足相应的相关系数阈值，则认为它们是价格波动关联商品。同时 可以根据相关性的正负来判断具体的关联属性：

①若商品M和商品N的相关系数r(M,N)超过正相关性阈值，即 认为两商品表现出强正相关性，价格波动表现为同增同减，它们可能 为上下游商品、互补商品或可替代商品。以钢铁的实际生产流程为例， 产业链中的上下游商品为铁矿石和螺纹钢。铁矿石的下游主要源自于 螺纹钢的需求。铁矿石价格上涨，则螺纹钢的生产成本增大，螺纹钢 的价格也随之上涨。另外一种情况是两种商品功能相似，具有替代作 用，即为替代商品：举例而言，豆油和棕榈油就是一对替代品，当豆 油价格不断上涨时，消费者会减少对豆油的需求，而会增加对棕榈油 的需求，从而导致棕榈油的需求量增加，棕榈油的价格也会上涨。同 理当两种商品必须结合在一起才能发挥作用时，即为互补商品，它们 之间的价格波动关系也呈现出很强的正相关。

②若商品M和商品N的相关系数r(M,N)超过负相关性阈值，即 认为两商品表现出强负相关性，价格波动表现为一增一减，它们之间 可能存在复杂的产业关联关系。如白糖和铁矿石的相关系数为r_sim ＝-0.3346，变现为较明显的负相关。可能原因为：白糖的原料甘蔗 为喜温、喜光作物，盛产自北半球；铁矿石主要产自南半球的澳大利 亚等地；一年中进入北半球白糖的收获季节是，南半球的气温偏低， 不利于铁矿石的开采，因此产量降低。两者之前的产量差异，导致了 价格波动呈现负相似性。当然除了本原因和本例以外，负相关性强的 商品之间往往受到气候、土壤水文、国际关系、突发大型事件等多方 面因素的复杂因素共同影响。

根据上述算法，分析指定商品和其他商品之间的关联关系，并将 相关性强的商品作为该商品的关联商品，构建价格波动关联商品集。

(3)交易事件关联商品发现

在大宗商品实际的交易过程中，除了行情数据之外，还将产生大量 的交易数据。这些数据涉及到商品的买方信息、卖方信息、交易数量、 交易时间等相关信息，从其中挖掘出商品的关联关系也是实现智能化推 荐监管商品技术的一大重点。(如A商品和C商品，交易商进行组合购 买的频率高，或同一天的交易规模类似，即为关联商品。)

首先，进行交易数据的预处理和信息提取。针对本文技术方案，选 取有效的交易商数据及其买卖的商品属性数据，分析不同商品交易数据 的相关性。其次，在Apriori算法的基础上，提出基于关联规则的交易 事件关联商品发现算法，算法的改进如下：①针对关联商品监管的特点， 构建到频繁二项集就进行关联规则的提取；②规则的提取是双向的。因 此，重新定义以下两个概念：

关联规则(association rule)：关联规则是形如X→Y的表达式， 其中X和Y是不同的商品。关联规则的强度可以用它的支持度(support) 和置信度(confidence)来衡量。支持度用来度量规则可以用于给定数 据集的频繁程度，置信度确定Y在包含X的事务中出现的频繁程度。

交易事件关联商品：若商品X和商品Y满足相应的支持度和置信度 阈值，可产生形如X→Y或Y→X的关联规则，即认为它们是一组交易事 件关联商品。

基于上述定义和概念，交易事件关联商品发现的求解算法如算法1 所示。

(4)智能化推荐监管商品

综合以上两步形成的价格波动关联商品集和交易事件关联商品集， 构建总的关联商品表。在实际的市场交易情境下，并非所有商品都与 交易事件存在相关联系，但所有商品之间均存在价格波动的相关性。 因此，关联商品表的构建以价格波动关联商品集为主，交易事件关联 商品集为辅。若某对商品同时存在两种关联关系，则以价格波动关联 度为标准，将交易事件关联商品的关联度折合进总的关联关系中。

最终根据监管任务要求，从目前监控的相关商品出发，在关联商 品集中找到对应的商品，构建关联商品推荐集合，并推荐给监管方， 达到智能化推荐监管商品的目的。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的 技术手段，还包括由以上技术特征任意组合所组成的技术方案。