缺失数据

摘要： 数据缺失在测验中经常发生,认知诊断评估也不例外,数据缺失会导致诊断结果的偏差。首先,通过模拟研究在多种实验条件下比较了常用的缺失数据处理方法。结果表明:(1)缺失数据导致估计精确性下降,随着人数与题目数量减少、缺失率增大、题目质量降低,所有方法的PCCR均下降,Bias绝对值和RMSE均上升。(2)估计题目参数时,EM法表现最好,其次是MI,FIML和ZR法表现不稳定。(3)估计被试知识状态时,EM和FIML表现最好,MI和ZR表现不稳定。其次,在PISA2015实证数据中进一步探索了不同方法的表现。综合模拟和实证研究结果,推荐选用EM或FIML法进行缺失数据处理。

摘要： 保障长期连续的数据完整性和质量可靠性是进行浮标数据应用的首要问题。本文基于中国科学院近海观测研究网络黄海站位于北黄海长海县附近海域的五套浮标于2010~2019年连续10 a采集到的海洋表层温盐数据,进行数据分析与处理方法的研究。为了辨识原始温盐数据中的异常值,综合运用极值法、拉依达准则和箱型图法给出适合温盐的异常数据分析与处理方法,并基于2σ原则和箱型图法修正了温盐界限。为了解决温盐数据的缺失问题,提出SoftImpute与IterativeImpute相结合的插补方法,有效降低了温盐数据的标准差。研究结果表明,采用本文的方法可有效消除异常和插补缺失,修正数据中的异常点,得到连续、平滑、具有显著年际变化特征与趋势的温盐数据分析曲线,也可增加对该海域海洋温盐特征、变化规律和发展趋势等的深入理解,为海上现场观测数据处理提供借鉴,并为后续应用研究提供更高质量的数据。

摘要： 目的评价多重插补法拟合中风队列研究量表缺失数据的效果,为今后开展相关临床研究提供方法学支撑。方法选取2017年1月-2020年12月陕西省5所三级甲等医院实施的多中心、前瞻性队列研究中的400例中风患者数据。应用R4.0.1软件分析美国国立卫生研究院卒中量表(NIHSS)、日常生活能力量表(ADL)、Fugl-Meyer运动功能评分量表(FMAS)、汉密顿抑郁量表(HAMD)和汉密顿焦虑量表(HAMA)的数据缺失特征;选取最优多重填补方法,采用SAS 9.4拟合缺失数据;通过标准误和95%置信区间(CI)宽度比较多重插补法与删除法的数据结果,评价多重插补法的填补效果。结果所有量表的数据缺失比例均小于20%,均为任意缺失模式,其中NIHSS为完全随机缺失机制,其余量表均为随机缺失机制。故选取马尔科夫链蒙特卡罗法(MCMC)作为最优多重填补方法。相较于删除法,MCMC产生更小的标准误及更窄的95%CI宽度,可更有效利用其他信息预测缺失数据并提高数据的利用率。结论通过应用多重填补的方法处理量表数据缺失后可有效提高中医综合方案治疗中风队列研究数据的利用率,减少浪费,使统计结果最大程度接近真实测量情况,同时提高研究数据完整性,进一步提升数据质量。

摘要： 本文研究协变量随机缺失下异方差半参数变系数模型约束估计问题.首先在完全数据情形下,利用profile最小二乘方法构造模型参数和非参数分量的约束估计量;其次利用非参数核估计方法构造方差函数的约束估计量;随后基于逆概率加权法和加权profile最小二乘法构造模型参数和非参数分量的自适应逆概率加权profile最小二乘约束估计量;最后在一定正则条件下证明自适应逆概率加权profile最小二乘约束估计量的渐近性质,并通过蒙特卡洛数值模拟验证有限样本表现.

摘要： 传统k近邻填补算法中k个最近邻数据的权重分布不稳定且忽略了属性相关性,针对此问题,文章提出了一种基于k近邻填补算法的优化算法,在基于三阶明考夫斯基距离的基础上,对k个近邻数据采用了基于熵权法的权重系数,然后利用PCA算法原理考虑相关属性影响,得到属性影响因子。最终的填补值即为优化权重后的k-近邻填补算法与最后影响因子的和。构造缺失后,能有效得到填补值。实证表明,改进后的算法均方根误差为0.25,填补值最接近真实值,优于传统的k-近邻填补算法(均方根误差0.44)和普通加权的k-近邻填补算法(均方根误差为0.30)。

摘要： 针对混凝土坝变形监测数据缺失使大坝服役状态分析困难甚至引起误判的问题,基于聚类和面板数据理论,提出了一种考虑时间和截面两种维度的混凝土坝变形监测缺失数据处理新方法。该方法兼顾了影响大坝变形的共同因素和特异因素,与传统方法相比,能更加全面地反映荷载和非荷载因素对大坝结构性能的影响,对大坝变形监测缺失数据的处理更加有效。某混凝土双曲拱坝变形监测缺失数据处理验证结果表明,该方法预测残差值低于SL 601—2013《混凝土坝安全监测技术规范》所规定误差限值,具有较高的精度,可对变形监测缺失数据进行有效处理。

摘要： 在医学研究数据采集与获取过程中,经常会碰到缺失值。例如,创新药开发临床试验中,导致缺失值的原因可能有受试者失访、或受试者由于不良事件、对干预措施的不耐受或缺乏疗效等原因中途退出试验[1]。缺失值不仅会给统计分析和结果解释带来挑战,而且可能会对临床试验结果造成偏倚,使其代表性和真实性受到影响[2]。对于缺失值处理的问题,欧洲药品管理局于2010年发布了《确证性临床试验中缺失数据处理指南》[3]。

摘要： 随机系数自回归模型能够较好地描述模型系数随时间变化的特性,因此得到了广泛应用。文章讨论具有缺失数据的随机系数自回归模型的参数估计问题,在缺失数据情形下给出了四种模型参数估计方法:无数据填充条件最小二乘法、均值填充法、条件均值填充法以及桥填充法。最后,通过随机模拟说明了上述估计方法的精确性,并给出了应用实例。

摘要： 根据《商品条码管理办法》第十四条规定,GS1系统成员应当按照有关国家标准编制商品条码并向所在地通报编码信息。及时通报产品信息也有助于企业享受编码信息实时管理和维护、各大平台手机扫描展示和产品质量安全追溯等服务。因此,缺失数据产品补录是中国物品编码中心(以下简称编码中心)一项重要的工作。

摘要： 在部分数据缺失情形下,研究混合几何分布总体参数的矩估计,证明了此估计量的强相合性及其渐近正态性质.通过随机模拟,给出不同样本容量下总体参数估计的均方误差,模拟结果显示均方误差较小,说明此方法具有可行性.

摘要： 本研究主要探讨了追踪研究中数据非随机缺失情况下，模式混合模型和选择模型及其拓展模型的应用，通过与MAR假设下模型结果的比较，说明了正确分析追踪研究非随机缺失数据的必要性。同时，本研究结合ECLS-K的数据说明了这些方法的具体应用。

摘要： 讨论了部分缺失数据两伽玛分布的参数估计和关于总体相同的似然比检验.证明了估计的强相合性和渐近正态性,给出了似然比检验统计量的极限分布,并讨论基于精确分布的检验问题.

摘要： 本文以贝叶斯原理为理论依据,对于有缺失数据的混合模型,用EM算法推导了参数估计迭代公式。并以文献[13]中的数据建立混合模型。通过计算机模拟，得到了缺失10％,30％,50％时参数的估计结果,并把得到的结果与线性模型下三种方法的估计结果做了比较分析。

摘要： 本文在分析了LCC数据内容和数据特点的基础上，从统计学的角度，研究了LCC数据缺失的原因和缺失数据的单变量缺失模式、对称缺失模式、一般缺失模式，介绍了处理缺失数据可以通过加权调整法、插补法、参数似然法进行调整，并对这些方法的应用进行了初步研究，对LCC技术的研究工作特别是数据方面的工作有一定的帮助作用。

摘要： 本文在缺失数据下研究了广义线性模型的参数估计问题，构造了模型中未知参数的最小二乘估计，在较弱的条件下证明了估计量的渐近正态性。模拟研究表明了我们所提出的最小二乘估计有理想的结果。

摘要： 完整性是数据质量的一个重要维度，由于数据本身固有的不确定性、采集的随机性及不准确性，导致现实应用中产生了大量具有如下特点的数据集：1)数据规模庞大;2)数据往往是不完整、不准确的．因此将大规模数据集分段到不同的数据窗口中处理是数据处理的重要方法，但缺失数据估算的相关研究大都忽视了数据集的特点和窗口的应用，而且固定大小的数据窗口容易造成算法的准确性和性能受窗口大小及窗口内数据值分布的影响．假设数据满足一定的领域相关的约束，首先提出了一种新的基于时间的动态自适应数据窗口检测算法，并基于此窗口提出了一种改进的模糊k-均值聚类算法来进行不完整数据的缺失数据估算．实验表明较之其他算法，不仅能更适应数据集的特点，具有较好的性能，而且能够保证准确性．

摘要： 缺失数据处理是数据挖掘过程中数据预处理的一个重要内容.介绍了缺失数据的产生机制和处理准则以及目前流行的缺失数据处理方法,提出了基于朴素贝叶斯分类器的缺失数据处理模型.通过实验分析与比较,以及在一个真实的健康医疗数据集上的实际应用,证明所提出的缺失数据处理模型是健壮有效的。

摘要： 目前统计学上研究抽样调查时产生的缺失数据主要从减少误差入手,但对于含大量的缺失数据的数据集而言,就难以得到理想的估计效果.而对于许多含有缺失数据的数据集,统计学中处理这些数据集的方法主要有演绎估计、随机插补法、线性回归、聚类分析(均值插补法)及多重插补(MI)等方法.本文主要是介绍一种新的处理缺失数据的插补方法,它结合了回归分析和聚类分析的优点,能处理多种领域的数据.文中对数据集的处理都采用矩阵形式.

摘要： 考虑了解释变量带有测量误差,响应变量随机缺失情形下的非线性EV模型.通过利用核实数据,构造了响应变量均值θ的调整的经验对数似然比统计量.证明了所构造的经验似然比统计量渐近于标准X2分布,所得结果可以用来构造未知参数的置信区间.

摘要： 考虑了解释变量带有测量误差,响应变量随机缺失情形下的非线性EV模型.通过利用核实数据,构造了响应变量均值θ的调整的经验对数似然比统计量.证明了所构造的经验似然比统计量渐近于标准X2分布,所得结果可以用来构造未知参数的置信区间.

摘要： 本发明提供一种利用多种中尺度风速数据插补观测缺失风速数据的方法，包括以下步骤：按时间序列收集多种中尺度风速数据；对观测风速数据、中尺度风速数据进行预处理，得到观测风速平均数据、可用中尺度风速数据；合并观测风速平均数据和可用中尺度风速数据，得到第一列表；设定阈值，通过筛选对第一列表进行迭代；将迭代后的第一列表内的可用中尺度风速数据代入最终风速数据插补模型，得到最终拟合风速数据；将最终拟合风速数据和观测风速数据按时间点进行拼接。本发明可以解决现有技术中存在的仅在一种中尺度风速数据和观测风速数据之间建立插补方程，无法同时考虑不同中尺度风速数据，插补后得到的测风数据准确度不够的技术问题。

摘要： 本发明涉及通信技术领域，公开了一种通信大数据平台的数据缺失主动发现方法及装置。本发明针对通信大数据平台中各原因复杂且常见的数据缺失场景提出了相应的解决策略，其中针对网元配置信息变化导致的各解析设备不能解析相应数据包的复杂场景，本发明通过对该数据包进行自动解析来获取网元配置信息，并由汇聚分流设备发送至相应的解析设备以完善解析参数，能够使得解析设备实现对该类数据包的解析，避免丢弃数据而造成数据缺失。本发明提升了数据缺失的自动检测率，有益于提高大数据通信平台的数据完整性。

摘要： 本发明提供了一种用于能源大数据的跨时空双向数据缺失值填充方法和装置，该方法包括：在待训练目标数据表格中筛选出含缺失值的行作为第一数据表，并筛选出数据齐整的行作为第二数据表；根据第二数据表计算各特征的平均值和中值；采用0值、平均值和中值对第一数据表中各特征对应列的缺失值进行填充，将填充后的第三数据表、第四数据表和第五数据表插入第二数据表，形成第六数据表、第七数据表和第八数据表；将第六数据表、第七数据表和第八数据表按照50％比例以时间为作为键值拆分为第一训练数据集和第一交叉验证数据集、第二训练数据集和第二交叉验证数据集以及第三训练数据集和第三交叉验证数据集，并对目标神经网络进行训练，以获取预测模型。

摘要： 缺失数据处理是数据清洗流程中最重要的环节之—，为了利用时间序列数据的周期性，更好地拟合时间序列预测模型，本发明提供了一种时间数据序列的缺失数据插值方法和装置，该方法包括步骤：获取对第一时间数据序列的缺失数据进行插值后得到的第二时间数据序列；将第二时间数据序列进行数据分解得到趋势部分数据和周期性部分数据；根据周期性部分数据判断第二时间数据序列是否具有周期性；若是则根据第一时间数据序列的趋势部分数据对该趋势部分数据的缺失数据进行插值，将周期性部分和趋势部分进行分离，单独对趋势部分进行插值处理，既保证了周期性数据没有遭到破坏，也保证了周期性数据没有对插值处理过程造成干扰，提高了插值准确性。

摘要： 本发明涉及一种针对临床检测数据缺失问题的数据处理方法，是基于有缺失数据的临床检测结果，使用自编码神经网络来实现智能化的临床数据处理。首先编码器将每个检测项目的数据结果进行编码，由于每个检测项目不同的患者数据，最终得到维度不确定的编码矩阵。然后通过矩阵运算将不定维度的编码矩阵转化为相同维度的向量，从而能够使用神经网络来进行解码，对缺失检测数据给与弥补。通过在编码器和解码器之间插入巧妙设计的矩阵运算，所提出的方法成功消除了临床检测数据维度不定问题，使得神经网络来可以被用来处理有大量缺失临床检测数据的处理。

摘要： 本发明涉及一种融合数据缺失数据和图像的三模型综合决策情绪预测方法，包括以下步骤：步骤S1:获取心电图文件并对其进行图像预处理，得到二值化心电图;步骤S2:根据得到的二值化心电图，以列扫描方式与前者基准结合转换图像信息为标准心电数据；步骤S3:将标准心电数据通过多维心电分析模型，提取心电特征；步骤S4:分别构建特征权重分析模型的情绪预测模型、卷积神经网络和Missing_Value_Model模型，并根据标准心电数据和心电特征，得到三个预测结果；步骤S5:根据得到的三个预测结果，采用比较权重方法确定最终的预测结果。本发明提出融合三种格式数据的情感类型预测模型，实现提高预测准确度。

摘要： 本发明涉及一种MES背景下的数据库数据缺失的填补方法及系统。该方法包括：读取数据库中数据的时间戳信息；判断数据是否发生缺失；当数据发生缺失时，采用二分法查找数据中数据缺失的位置；根据数据中数据缺失的位置，确定数据的数据缺失类型；数据缺失类型包括：瞬时缺失类型、短时缺失类型和长时缺失类型；根据数据的数据缺失类型，对数据进行填补；当数据的数据缺失类型为瞬时缺失类型时，采用线性插值法填补数据中缺失的数据；当数据的数据缺失类型为短时缺失类型时，采用线性插值法与多元回归法结合的方式填补数据中缺失的数据；当数据的数据缺失类型为长时缺失类型时，对数据不进行填补。本发明可以提高缺失数据填补的精度和适应性。

摘要： 本发明公开了一种大数据分析中缺失数据混合多重插值方法及系统，包括以下步骤：步骤S1、以缺失数据为插值中心，在缺失数据所在的数据矩阵中以与插值中心位于同一横向和同一竖向的多组未缺失数据作为多组插值模型训练数据，并将多组插值模型训练数据按在插值中心的方位分别设定出多组插值模型训练数据的插补方向；步骤S2、将所述多组插值模型训练数据按所述插补方向进行排序得到多组插值模型训练序列，并利用神经网络模型基于所述多组插值模型训练序列进行模型训练得到多组插值模型。本发明进行多方向插补，建模预估出多个缺失结果从而进行加权插补，提高缺失数据的可变性并且多个方向的插补值加权得到最优插补结果，避免过度拟合以及偏差估计。

摘要： 一种存在数据错误和缺失的无线传感器网络收集数据重建方法，根据监测区域内传感器节点收集的环境数据，构建采样矩阵；利用采样矩阵重建环境数据矩阵，将环境数据的重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型；利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解基于弹性网正则化的结构化噪声矩阵补全模型，进而重建环境数据矩阵。本发明基于环境数据矩阵的低秩特性，将不完整数据的重建问题建模为一类弹性网正则化的结构化噪声矩阵补全模型，同时设计了基于算子分裂技术的数据恢复算法，实现对缺失数据有效恢复，能准确判断收集到错误数据的传感器节点。本发明的性能优于现有算法，能以较高的精度重建环境数据。

摘要： 本申请公开一种数据信息缺失数据填充方法、装置、设备及介质，其中，该方法包括：提取用户数据中的缺失数据，上述缺失数据为缺失特征信息的数据；遍历上述N组用户数据的N组用户交互序列数据，对目标用户交互序列数据进行计算，获取上述N组用户交互序列数据对应的关联权重集合；根据上述关联权重集合中的关联权重值，对上述X组目标交互序列用户数据中的每组目标用户交互序列数据进行计算，获取上述缺失数据的缺失特征信息对应的数据值；将上述缺失特征信息对应的数据值填补至上述用户数据中。如此，可以大幅度减少无关噪声，并且大幅度提高填补的精准度，从而在后续为用户推送更加符合用户需求的内容。