离群数据

摘要： 为了提高离群数据检测精度和效率,提出了一种基于相关子空间的离群数据检测算法。该算法首先根据数据局部密度分布特征得出稀疏度矩阵,通过高斯相似核函数放大稀疏度特征;然后计算各属性维中数据稀疏度相似因子,确定子空间向量及相关子空间,结合数据稀疏度和维度权值得出数据对象的离群因子,选取最大的若干个对象为离群数据;最后采用人工数据集和UCI实验数据集验证算法准确性和有效性。

摘要： 在对高维光谱数据集中的离群数据进行分类和挖掘时,由于传统基于逆k近邻计数的挖掘方法在应用中极易受到宇宙背景噪声、光线衰弱等因素影响,使得成功挖掘出的离群数据点数量少,最终会严重影响挖掘精度。针对这一问题,在引入双区块链结构的基础上,开展高维光谱离群数据挖掘方法设计研究。通过基于双区块链结构的高维光谱数据获取、高维光谱数据离群点检测、基于离群分数的三元组挖掘样本选择和高维光谱离群数据分离,提出一种全新的挖掘方法。通过实验证明,新的挖掘方法可有效解决上述问题,促进挖掘精度的不断提升。

摘要： 离群数据具有分散性特点,对其聚类容易出现节点失联的情况,导致传感网络局部离群数据聚类精准度不高.提出一种基于核PP主成分分析的离群数据动态聚类算法.首先利用非规则模型表示传感网络中节点分布状态,计算参数区域差异度,通过邻域分割方法改善网络节点分散性问题,避免发生空间失联节点定位不准情况,了解传感网络内是否拥有离群节点;其次使用离群约简及离群数据关键属性域子空间分析方法,明确离群数据产生来源及含义,为实现离群数据动态聚类提供帮助;最后运用核PP主成分转换进行数据维数消减,得到对应非线性矢量,在模糊C-均值算法基础上获取每个数据权值,完成局部离群数据动态精准聚类.仿真结果表明,所提方法具备较高的聚类精准度,运算时间短,具有良好的鲁棒性.

摘要： 对复杂网络数据信息传输的稳定性检测,能够有效保障网络的稳定运行.对信息传输稳定性的检测,需要获取各个数据对象与其邻域的加权距离,计算出每个数据对象的离群度量值,完成对数据信息传输稳定性的检测.传统方法计算出数据集的属性个数,获取每条数据记录的离群度,但忽略了计算出每个数据对象的离群度量值,导致检测精度偏低.提出基于密度的复杂网络数据信息传输稳定性检测方法.将网络整体的数据分布状态划分为不同类型的区间,描述网络信息组,对网络各个区域的数据流密度进行划分,给出稠密网格的区域,利用空间属性及其空间关系确定不同数据密度空间邻域,获取各个数据对象与其邻域的加权距离,计算出每个数据对象的离群度量值,完成对复杂网络数据信息传输稳定性检测.仿真证明,所提方法数据检测精度高,为提升和保障网络的稳定运行奠定了基础.%A stability detection method for data information transmission of complex networks is proposed based on density.Firstly,the holistic data distribution of the network is divided into different types of intervals,and the network information group is described,and then the data flow density of each region of the network is partitioned to dense grid regions.Secondly,spatial attributes and their spatial relations are utilized to determine the spatial neighborhood of different data densities to obtain weighted distance between each data object and its neighborhood.Finally,the outlier metric of each data object is calculated to complete the stability detection for data information transmission of complex networks.The simulation results show that the method has high detection accuracy.It can promote and guarantee stable operation of network.

摘要： 大数据背景下选择有用信息能帮助企业更准确地分类客户,离群数据同样包含重要的客户信息.为了研究了基于客户资产离群数据的客户分类问题,构建了基于客户资产离群数据分析的客户分类模型,该模型根据交易频率、交易的产品或服务的种类、交易金额以及客户年龄这4个维度的变量,采用先聚类再分类的方法,最终把25类离群客户数据按照客户资产分为4大类,针对不同离群客户分类提出相应的营销策略,并应用某公司的客户数据进行了实证分析.

摘要： LAMOST regular survey has successfully observed more than 100,000 galaxy spectra,which provides important data for mining the precious and rare objects to improve the existing theories.In this paper,the s pectrum J140242.45+092049.8 is particularly chosen from LAMOST DR3 by using the outlier mining me thod based on the relevant subspaceand intensively discussed these rare characte ristics respectively.First of all,the dual-redshift system (absorption syst em:z1=0.020 95,emission system:z2=0.069 5) are measured and identified by fuzzilyrecognizing the characteristics lines and cross matching th e information of the homologous spectrum observed with SDSS.As a whole,the Δz=0.048,which is far greater than the physical interacting threshold (Δz<0.008) provided with Keel,indicating that they are superimposed in the l ight of sight rather than physical interacting occurring between the foreground galaxy and background one,and the possibility of lens for such "absorption+emi ss ion" mode dual-redshift spectrum is illuminated by studying the availableliter ature and analyzing the image feature provided with SDSS.For the foreground ga la xy (absorption system),the strong Balmer absorption lines and iron lines appea red simultaneouslyin the spectrumimplies that this object will be most likely be E+A galaxy.For the background galaxy (emission system),the characteristic of do uble peak emission lines is analyzed and the strange relationship between the em ission lines is also discussed in the end.%LAMOST巡天已获取超过100 000条星系光谱,为探索珍贵、稀有的天体从而完善现有科学理论提供了重要的数据条件. 研究采用基于相关子空间的离群挖掘方法,从LAMOST DR3星系光谱数据中获得的离群数据挖掘结果中,针对呈现出多种稀有特征的光谱J140242.45+092049.8进行了深入分析. 首先利用特征光谱线进行红移测量并交叉SDSS同源光谱提供的红移信息,测量并证认了该光谱的两套红移系统: 吸收线系统z1=0.020 95、发射线系统z2=0.069 5. 从整体上,通过交叉现有文献及SDSS图像特征,分析了该"吸收+发射"模式的双红移系统属于透镜星系的可能性,而红移间隔Δz=0.048远大于Ke el指出的双星系具有物理关系的临界0.008,意味着该目标前景与背景星系之间只是视向重叠,即视向星系对,没有相互的物理作用;对于前景星系(吸收线系统),通过测量光谱中呈现的特殊的特征线强度,分析了属于E+A星系的可能性;对于背景星系(发射线系统)光谱中呈现的双峰特征,分析了该光谱来自双峰发射线星系的可能性;此外,初步分析了该光谱中背景星系发射线强度关系异常的原因.

摘要： 目前,对于离群数据挖掘算法研究颇多,但对于离群数据挖掘结果可理解性和可解释性的研究相对较少.采用相关子空间,给出一种MapReduce编程模型下的上下文离群数据挖掘算法.该算法利用局部稀疏差异度,确定相关子空间,并计算其数据对象离群因子值;将离群因子和相关属性维,定义为数据对象的上下文信息,提高了数据对象的可理解性;选取离群因子最大的N个数据对象,作为上下文离群数据;利用MapReduce编程模型,实现了一种上下文离群数据并行挖掘算法;最后,采用UCI数据集,实验验证了该算法的可解释性和有效性.

摘要： It’s one of the main goals in universe exploration to find unknown and special celestial bodies .The spectra outlier data is analyzed based on the traditional classification approaches ,which is a general method of special celestial body exploration .But it’s depressed that many traditional classification approaches are insensitive to the outlier data ,which even influence the classifi‐cation efficiencies ,therefore ,these methods can’t accomplish the task of special celestial body exploration .In view of this , Fuzzy Large Margin and Minimum Ball Classification Model (FLM‐MBC) is proposed in this paper .In FLM‐MBC ,part of gen‐eral data and outlier data are trained to construct the minimum ball model and the fuzzy technique is introduced to reduce the noise influence to classification .Comparative experiments with C‐SVM ,KNN ,and SVDD on the SDSS spectral datasets verify the effectiveness of the proposed FLM‐MBC .%由于人类对宇宙的认识有限，因此，如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前，常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而，当前主流分类算法大多对离群数据不敏感，分类性能甚至受离群点影响较大，因而无法完成特殊天体发现任务。鉴于此，提出基于模糊大间隔最小球分类模型的离群数据挖掘方法，该方法利用部分一般样本和离群样本建立最小球模型，并在此基础上引入模糊技术，通过降低噪声的权重，尽量减少噪声的影响。与C‐SVM ，SVDD ，KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性。

摘要： 针对房产销售困难问题,提出了采用离群数据挖掘技术从客户信息集中提取隐含知识的方案,该方案具有效率高、成本低的特点.方案利用LOF挖掘算法发现现有客户集中具有潜在购房意向者,并对试验结果质量进行评价.算例结果验证了方案的可行性.

摘要： 针对房产销售困难问题，提出了采用离群数据挖堀技术从客户信息集中提取隐含知识的方案，该方案具有效率高、成本低的特点。方案利用LOF挖掘算法发现现有客户集中具有潜在购房意向者，并对试验结果质量进行评价,算例结果验证了方案的可行性。

摘要： 现有离群数据发现算法大多是针对低维数据的,这些算法在处理高维海量数据时存在效率问题,而且要求输入参数较多,影响了结果的客观性。针对不同要求下离群数据发现任务,利用距离支持度来改变离群数据的约束范围,提出了一种基于距离的高维海量离群数据挖掘算法DB-HDLO ,该算法与传统的最短距离系统聚类算法SL具有相同聚类结果。以恒星光谱数据为数据集,实验验证了该算法能够高效准确地对高维海量数据聚类,并根据不同要求发现离群数据。

摘要： 离群数据挖掘与分析在许多领域的重要性已经日益体现,特别在安全领域对此项技术的实时性要求较高,而离群对象的关键域子空间对于进一步分析数据对象的离群原因具有指示作用,因此如何更快地获取离群数据集的关键域子空间成为一个十分重要的研究内容.本文以探索性数据分析方法为基础,通过分析数据对象个体离群与其属性值离群之间的关系,提出了一种高效实用的关键域子空间实时搜索算法RSKAS,实验证明,这种方法对于问题规模具有良好的适应性,可以较好地满足离群实时分析要求。

摘要： 本文讨论了分布式环境下各站点离群数据之间相似性度量及挖掘算法，该算法利用基于距离的离群数据挖掘算法挖掘离群数据，然后计算离群数据的知识集，最后依据各站点知识集的分布情况来判断离群数据之间的相似性。由于时间关系，本文的算法只是理论探讨，接下来的工作是将本文算法加以实现，从而分析算法的效率。

摘要： 离群数据对象发现是从大量数据对象中挖掘少数的具有独特行为模式的数据对象，从而揭示出大量数据中隐含的有价值的知识，在诸如电予商务犯罪、电信和信用卡欺诈的侦查、视频监视和网络入侵监测等领域具有广泛应用前景。本文提出一种基于相邻关系的离群数据对象发现新方法。新方法不需要直接计算距离或密度；与已有的方法相比具有直观、简单等优点，而且效率和效果上优于基于密度的方法。

摘要： 目的:以水杨酸片为考核样品,统计了能力验证项目NIFDC-PT-004中来自31个省(市)、自治区的40家实验室的水杨酸片溶出度测定结果,并对离群数据进行了技术分析.rn 方法:参照CNAS-GL02并结合药物溶出度测定的特点,以篮法、桨法、小杯法分别测定的水杨酸片溶出量为评价指标,对各参加实验室的能力验证结果进行了结果总数、剔除离群值后的平均值、平均值±3倍标准偏差(SD)范围、最小值、最大值、极值、相对标准偏差(RSD)的统计分析.评定标准:溶出度测定结果经Grubbs检验法判定为离群值的,为不满意结果;剔除离群值后,|溶出度测定结果-平均值|>3SD的,为不满意结果;剔除离群值后,|溶出度测定结果-平均值|≤3SD的,为满意结果.rn 结果:篮法测得溶出量为满意结果的实验室有38家,占95.O％(n=40);桨法测得溶出量为满意结果的实验室有40家,为100％(n=40);小杯法测得溶出量为满意结果的实验室有34家,占97.1％(n=35).rn 结论:多数实验室的能力验证结果为“满意”,“不满意”结果的实验室应认真回顾操作过程,查找原因并进行整改.

摘要： 在机器视觉的应用中,观测数据常常含有大量的噪声和离群数据,这就需要机器视觉算法必须具有一定的鲁棒性。由于鲁棒估计方法对离群数据的容忍度强,人们很早就将其与机器视觉结合起来。近年来,鲁棒估计在物体识别,图像恢复与分割,运动分析,三维重建等机器视觉领域取得了广泛的应用。本文主要回顾了各种应用于机器视觉领域的鲁棒估计方法,列举了几个鲁棒估计技术在机器视觉方面的应用实例,并预测了该技术今后的发展趋势。

摘要： 离群挖掘是数据挖掘研究的重要内容,在实际生活中获得广泛应用.本文将离群数据挖掘的理论和方法应用到过程控制的故障诊断中,提出了一种新的故障诊断方法.本文首先给出了离群数据的量化定义,并用基于蚁群的聚类学习方法,产生了状态空间的整体特征.然后结合具体的设备对象,提出了离群数据的挖掘方法.最后进行了实验验证,结果表明本文提出的方法是有效的.

摘要： 本发明公开了一种基于图论方法的大规模数据集离群数据挖掘方法，的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为本方法筛选的离群数据。所述无环图为基于距离的无向图，图中节点为数据集中的样本，边的权值为两个节点对应样本之间的距离。本发明分类方法可应用于各种离群数据挖掘的应用中，适用于搜寻全局离群数据。

摘要： 本发明提供一种快速从大规模数据中筛选离群数据的方法，是充分考虑到大规模数据离群数据挖掘计算时间及空间复杂度的特点，采用随机采样来减小参与计算的样本数量，采用并行计算来加速运算速度，从而有效的解决了大规模数据离群数据筛选中对计算时间和内存空间的要求较高的问题，从而实现快速且有效的离群数据筛选。

摘要： 本发明实施例提供了一种催化裂化装置数据中离群数据识别方法及系统，所述方法包括：按照预设采样时间获取催化裂化的生产数据的原始属性值，获得原始属性值的时间序列集合；使用滑动时间窗对时间序列集合进行重构，获得原始属性值的子序列集合，子序列集合中包括多个子序列；获取子序列集合的交互权值向量，根据交互权值向量和子序列集合，构建加权序列集合，加权序列集合中包括多个加权子序列；获取加权序列集合中各个加权子序列的局部离群因子，根据局部离群因子识别出催化裂化装置数据中的离群数据。该系统用于执行上述方法。本发明实施例中提高了催化裂化装置数据中离群数据识别的准确性和催化裂化装置数据的可靠性。

摘要： 本发明公开了一种基于遗传算法从大规模高维数据中检测离群数据的方法，属于离群数据挖掘技术领域，包括如下步骤：（1）样本离散化及编码：将高维数据进行编码，每一个个体对应一个字符串；选择稀疏系数作为适应度函数，由该系数作为判定个体优劣的标准；（2）循环迭代：维护一个群体，群体包括若干个体；通过交叉、变异、选择按照优胜劣汰的原则不断的更新这个群体；（3）译码得到离群数据：将最终获得的群体进行译码对应相应的样本数据，进而发现隐藏在其中的离群数据。本发明可以高效快速的从大规模高维数据中发现隐藏在其中的离群数据。

摘要： 本发明提供一种快速从大规模数据中筛选离群数据的方法，是充分考虑到大规模数据离群数据挖掘计算时间及空间复杂度的特点，采用随机采样来减小参与计算的样本数量，采用并行计算来加速运算速度，从而有效的解决了大规模数据离群数据筛选中对计算时间和内存空间的要求较高的问题，从而实现快速且有效的离群数据筛选。

摘要： 本发明公开了一种大规模高维数据中离群数据的检测方法，属于离群数据挖掘技术领域，具体包括以下几个步骤：（1）计算各数据点的余弦距离平均值；（2）计算各数据点的余弦距离；（3）计算各数据点的余弦距离平均间距；（4）分类划分余弦距离平均间距，选取余弦距离平均间距最小的几个点为数据离群度最大的离群点；（5）确定离群数据。本发明可以高效快速地从大规模高维数据中发现隐藏在其中的离群数据。

摘要： 本发明公开了一种基于图论方法的大规模数据集离群数据挖掘方法，的方法删减图中的边，通过多次迭代后图中度为0的节点对应的样本即为本方法筛选的离群数据。所述无环图为基于距离的无向图，图中节点为数据集中的样本，边的权值为两个节点对应样本之间的距离。本发明分类方法可应用于各种离群数据挖掘的应用中，适用于搜寻全局离群数据。

摘要： 本发明公开了一种大规模数据中离群数据的分析方法，属于数据挖掘技术，包括如下步骤：（1）、离群数据挖掘；（2）、离群数据聚类：将离群数据分配到不同的簇中；（3）、成簇极稀少离群数据的筛选：筛选的依据为簇中样本个数小于阈值T1；所有簇中的极稀少离群数据组成的数据集记为C1；（4）、离群数据成团性特征分析及簇中极稀少数据的筛选：利用可视化手段辅助分析聚到同簇中的离群数据，得到其共性特征即成团性特征，进而分析其异常特征产生的原因；（5）、极稀少离群数据的分析。本发明针对大规模数据中离群数据分析的目的和存在的问题，结合可视化、模式识别及数据挖掘相关方法，对大规模数据中离群数据进行有效的分析。

摘要： 一种基于支持张量数据描述的离群数据检测方法，包括以下步骤：1）获取由n个二阶张量数据对象X

摘要： 本发明提供一种基于天文光谱数据的离群天体分类方法，批量获取原始的天文光谱数据，将其中已知标签的天文光谱数据分别作为训练集和测试集，其中的未知天文光谱数据待分类，对所得原始的天文光谱数据的高维特征向量进行降维处理，根据所得低维的特征向量计算出离群分数，对所述天文光谱数据进行二分类；构建三元组样本；向三元组随机损失的神经网络模型中投入经过降维处理后的未知天文光谱数据，得到新的特征向量，得到未知光谱数据的新特征向量并计算该数据的离群分数，再使用训练后设定的新阈值，识别出天文光谱数据中的离群数据；该方法具有数据处理时间短、精准度高、能快速识别出离群天体等优点。