条件熵

摘要： 分布式拒绝服务(distributed denial-of-service,DDoS)攻击是网络中的常见威胁,攻击者通过向受害服务器发送大量无用请求使正常用户无法访问服务器,DDoS逐渐成为软件定义网络(software-defined networking,SDN)的重大安全隐患。针对SDN中DDoS攻击检测问题,提出了一种粗粒度与细粒度相结合的检测方案,使用队列论及条件熵作为到达流的粗粒度检测模块,使用机器学习作为细粒度检测模块,从合法包中准确检测出恶意流量。实验表明,在使用Mininet模拟SDN网络的环境中,方案可准确检测出DDoS攻击。

摘要： 对于混合决策系统的属性约简,现有方法主要存在动态效果不佳、复杂度过高,以及约简精度差等问题,为此,提出一种启发式增量属性约简方法.针对混合决策系统的动态波动,基于粗糙集建立了邻域关系模型,根据邻域相对差异对增量属性进行更新.同时,为进一步增强约简算法的动态适应性,引入条件熵求解相对差异.考虑到单纯利用邻域依赖虽然有利于处理样本的分布不均,但是很难获得良好的属性评估,引入粒度模型进行优化,将邻域关系采用粒度重新描述,从而细化邻域关系.利用邻域依赖性得到决策属性度量,构造启发计算,同时,通过条件和决策间的关联度,以及粒度模型的单调,求解出条件和决策共同约束下的邻域关系.再根据决策属性度量作为启发,直至单一属性对子集决策性能不再有影响,完成属性约简.基于数据集的仿真,验证了提出的启发式增量属性约简方法能够降低约简冗余度和约简长度,有效提高属性约简精度和约简时间效率.

摘要： 针对传统多模态病变图像挖掘误差较大的问题,提出了一种基于遗传算法的多模态病变图像关联挖掘方法.通过获取病变图像Shannon信息熵中条件熵与联合熵的关系,对病变图像的互信息进行归一化处理;通过遗传算法对病变图像互信息的最优解进行搜索,获取病变图像的最优模态;建立最优模态获取模型,获取多种成像设备病变图像的最优模态,实现多模态病变图像的合成.为了验证基于遗传算法的多模态病变图像的图像挖掘误差较小,将该多模态病变图像与基于刚体模型的多模态病变图像、基于图像灰度的多模态病变图像、基于图像特征点的多模态病变图像进行对比,得到这四种多模态病变图像的图像挖掘误差分别为0.41、0.2、0.19、0.063,通过比较可知该多模态病变图像的图像挖掘误差最小,即该多模态病变图像更加精准.

摘要： 结合软覆盖与信息熵,提出软覆盖信息熵.定义软覆盖信息熵、软覆盖联合熵、软覆盖条件熵,并研究这些熵之间的关系及它们的重要性质.最后给出两种基于软覆盖条件熵的多属性群决策的算法,举例说明这两种算法的结果具有一致性.

摘要： 将信息熵引入形式背景中,研究对象导出三支概念格的熵属性约简.首先,定义对象导出三支概念格的信息熵、条件熵和互信息等概念;其次,根据属性在约简过程中的重要性探讨核心属性和非核心属性的熵判定条件,并得出对象导出三支概念格的熵协调集等价于OEG协调集(对象导出三支概念格的粒协调集),对象导出三支概念格的熵约简集等价于OEG约简集;最后,给出决策形式背景中对象导出三支概念格的熵协调和熵约简等概念,并给出启发式熵约简的方法.

摘要： 贝叶斯网络分类器(BNC)由于其优越的分类性能和可解释性在数据挖掘和人工智能等领域有着广泛的应用.信息论为其迅速发展奠定了坚实的数学理论基础,例如条件互信息被用来度量BNC拓扑结构中属性间的条件依赖关系.然而,贝叶斯网络又被称为因果网络,但目前人工智能等领域中有关贝叶斯网络因果关系的研究是一个很有争议性的课题.属性间因果性的定义远比相关性的定义复杂微妙很多.而条件互信息可能不适用于度量BNC整体拓扑结构对数据的拟合性,并且其表达式的对称性决定了其只能描述属性之间的无向相关性,而非有向因果性.本文从信息熵的角度对贝叶斯网络中的因果关系进行了探索性的研究,首先基于对似然函数定义了联合熵函数与贝叶斯网络拓扑结构中联合概率分布的映射关系,然后在此基础上提出了类条件熵和局部条件熵函数来识别拓扑结构中属性间的因果关系.最后提出了一种基于类标签驱动的启发式结构学习方法来构建可以兼顾有标签数据拟合和无标签数据泛化的BNC(记为HBN).对美国加州大学欧文分校(UCI)机器学习数据库中35个数据集的实验评估表明,本文所提出算法与其它算法相比在分类性能上具有显著优势,例如HBN在0-1损失函数上明显优于CFWNB(17优5劣)、SKDB(14优5劣)、AIWNB(17优7劣);在偏差上HBN与CFWNB相比26优6劣,与SKDB相比10优5劣,与WAODE相比15优7劣,与RF相比29优4劣,与AIWNB相比22优6劣.由于CFWNB、WAODE、AIWNB没有结构学习过程,其拓扑结构不受训练数据扰动的影响.这三种算法的方差显著低于其它算法.而HBN的局部拓扑结构能充分体现测试实例中隐含的因果关系,在一定程度上减轻训练数据过拟合带来的负面影响.因此,与SKDB和RF相比,HBN的方差结果均明显占优(20优9劣,26优3劣).与其他算法相比,HBN的0-1损失函数和偏差结果分别平均提高了6.06％和12.65％.与SKDB和RF相比,HBN的方差结果平均提高了16.49％.HBN为不确定性知识表示和推理提供了一种有效且可行的方法.

摘要： von Neumann互信息是Shannon互信息在量子信息中的推广,在量子信道容量中有非常好的应用.由于量子态的非对易性,许多经典信息论中的量化在量子信息中有完全不等价的推广定义.量子假设检验相对熵来自于假设检验问题,是量子信息处理中常用的基本量化之一.使用量子假设检验相对熵讨论量子互信息.首先讨论量子假设检验相对熵的一些基本性质,并给出该量化和其他量子广义熵之间的关系.然后结合相对熵的性质,给出量子假设检验互信息的定义,并讨论其性质,比如:数据处理不等式.通过互信息与条件熵之和重点讨论互信息的链式法则.

摘要： 为解决机会网络(opportunistic networks,ONs)中链路的频繁断开、节点的高速移动以及稀疏的网络密度等问题,提出了基于节点移动的历史数据和节点的社会性预测节点轨迹的方法,选取中继节点完成消息传递的机会网络路由协议.首先利用条件熵分析节点轨迹的可预测性;然后根据速度和预测单元,对节点进行单位活动区域的划分;最后利用节点移动概率及其社会性,对节点的下一位置进行预测.仿真结果表明:轨迹预测可以有效解决因节点高速移动,位置不断变化而导致的网络连通性时好时坏、极易断开的问题;基于轨迹预测的通信协议达到了较好的传递成功率,实现了对消息的高效传递.

摘要： Kaminsky攻击是一种远程DNS投毒攻击,攻击成功后解析域名子域的请求都被引导到伪造的权威域名服务器上,危害极大.通过模拟攻击实验并分析攻击特征提出一种新的针对Kaminsky攻击的异常行为分析方法,该方法先提取DNS报文中时间、IP、DNS中Flags和Transaction ID等信息,然后使用滑动窗口对DNS Transaction ID去重之后计算相同IP地址条件下Transaction ID的条件熵,最后用改进的CUSUM算法分析条件熵时间序列以检测攻击时间.此外,调取检测出的攻击时间内的数据,相同IP地址条件下Transaction ID的条件熵可以追溯到投毒目标权威域名服务器的IP地址.将攻击流量与正常流量混合作为分析样本,通过调整攻击代码参数模拟不同攻击模式,结果表明该方法不仅时间复杂度小,而且有较低的误检率、漏报率和较高的检测率,是一种有效的检测和分析手段.

摘要： 属性重要度和属性约简都是形式概念分析研究中的关注重点.通过信息粒的角度,文中提出基于信息熵研究形式背景的属性约简的一些方法.首先,给出形式背景的信息熵、条件熵及互信息等定义,通过条件熵对协调的决策形式背景进行属性约简,得到形式背景的粒协调和熵协调是等价的.然后,在熵不协调的决策形式背景中定义有限信息熵、有限条件熵和有限互信息,利用有限条件熵对不协调的决策形式背景进行属性约简.最后,基于属性重要度分别设计熵协调和熵不协调的决策形式背景的属性约简算法,通过数值实验验证文中算法的有效性.

摘要： 建立决策表中知识与粗糙熵之间的关系，由此提出决策概念集的条件，进而推广为知识的条件熵，并证明知识的条件熵随信息粒度的变小而单调减少的规律，在此基础上给出以不等式为条件的约简判定定理，以此得到知识约简过程中启发式搜索的条件，结合分层递减的思想，设计基于条件熵的决策表知识约简算法，应用实例分析的结果表明，该算法是有效的。

摘要： 短期负荷预测是对于降低电力企业运营成本,增强电力企业的竞争能力,具有越来越重要的作用.本文提出了基于最大条件熵的神经网络短期负荷预测模型.首先采用最大条件熵理论进行影响因素的选取,其次采用一种新型神经网络递归多层感知器神经网络模型进行短期负荷预测.仿真结果证明,该模型能够很好的拟合历史数据,具有较高的预测精度.

摘要： 本文在改进的线积分卷积算法的基础上,从人的视觉感知角度出发,建立了模拟用户视觉感知过程的视觉感知系统数学模型,从可视化的结果中重构出与原流场数据分辨率相同的中间场矢量数据来模拟用户感知到的流场信息.为了评价可视化结果的准确度以及对可视化方法进行优化,本文采用条件熵的方法对原流场数据与中间场矢量数据的相似性进行评价,并在此基础上修改线积分卷积算法的参数以达到最优的可视化效果.为了验证该评价方法的有效性,设计了心理物理学实验,将人类主观的视觉感知与数学模型的应用相结合证明了该评价方法的正确有效性.

摘要： 属性选择是提高分类器性能的一种有效的方法．然而已有的属性选择算法要么假设数据无噪声，要么没有考虑属性间的交互作用，不能用于数据集中既有噪声又存在属性交互作用的情况．提出一种基于信息熵的属性选择算法。该算法用条件熵来评价属性子集对目标概念的描述能力，利用后向删除搜索策略进行属性选择．同时，根据不一致实例和关联规则中提升度的概念，给出噪声数据的定义和识别方法．该算法和典型的属性选择算法在10个UCI标准数据集上的对比实验结果表明，提出的算法在减少属性数量的同时将C4.5和NaiveBayes的平均分类精度分别提高了2.77％和3.42％．

摘要： Rough集理论在信息观下相较于代数观在属性约简、求核属性方面有着更强的适应性,但信息观下算法的计算复杂性限制了其发展与应用.本文提出了一种信息观下不计算信息熵而快速判定核属性的算法,并通过理论分析说明了本算法相对现有算法的性能有较大提高.

摘要： 在对实际数据进行分类求解时,往往会遇到大量未带类别标注的样本,现有的经典分类方法常采用先标注缺失样本,再进行分类,存在耗时且分类精度差等问题.为此,提出一种基于主动学习思想贝叶斯分类方法RANB. 引入主动学习旨在减少评价样本所需代价,提高分类器性能. RANB方法在主动学习策略的基础上融入条件熵和分类损失的思想,可以有效抑制不确定样本所带来的误差.实验表明,该方法与朴素贝叶斯分类器等经典方法相比,在保证分类性能的前提下,可有效地减少学习所需的样本数量,尤其是对于未带类别标志的样本,更是有其优越性.

摘要： 图像配准在医学图像处理领域是一项重要的技术,对临床诊断和治疗起着越来越重要的作用.尽管对这方面的研究已经展开多年,但目前的主要方法仍然存在不足之处,急需改进,以便更好的应用于临床实践.本文主要针对现在流行的基于最大互信息量的配准方法展开讨论和研究.在此基础上提出了相同重叠区域下的配准框架,在此框架下,将一些统计相似性配准算法统一为基于最小条件熵的图像配准算法.通常称为归一化互信息配准的方法。

摘要： 对信息熵及熵增原理进行了论述,并介绍了熵作为不确定性程度的度量在现在战争中考虑选择作战计划问题上的应用,最后通过实例阐述在选择不同作战计划时所带来的最后作战效果的不同,既要考虑作战计划的可行性,也要考虑作战计划带来的作战效果。

摘要： 对信息熵及熵增原理进行了论述,并介绍了熵作为不确定性程度的度量在现在战争中考虑选择作战计划问题上的应用,最后通过实例阐述在选择不同作战计划时所带来的最后作战效果的不同,既要考虑作战计划的可行性,也要考虑作战计划带来的作战效果。

摘要： 对信息熵及熵增原理进行了论述,并介绍了熵作为不确定性程度的度量在现在战争中考虑选择作战计划问题上的应用,最后通过实例阐述在选择不同作战计划时所带来的最后作战效果的不同,既要考虑作战计划的可行性,也要考虑作战计划带来的作战效果。

摘要： 本发明涉及一种特定条件下超越熵极限的符号编码方法，属于信息编码技术领域，基于符号空间的全覆盖，对源数据按照全覆盖进行分块划分，再以分块为处理单元进行编码。编码过程包括对分块内的所有符号，按频次进行降序排序，引入符号向量，所述符号向量是维度为n的单位向量且不同的符号向量之间，两两正交；引入块内终止标记，所述块内终止标记为n个连续的‘0’，解码时若遇到块内终止标记，则不进行最后1个符号的补全。本发明在块长度小于23的条件下，码率突破了信源编码定理中香农熵下限，且没有丢失任何信息。

摘要： 本发明提出一种复杂地质条件下双模盾构适应性“信息熵”评价方法，首先，根据熵权法确定影响双模盾构施工适应性因素的权重；其次，基于海明贴近度方法计算各指标与最优(差)方案指标的贴近度、与理想指标间的距离及指标评价参考值；最后结合数理统计方法分析双模盾构施工适应性。本评价方法能够根据实际工程进行适当调整，权重的计算方法有较多选择空间，而且能够克服现有方法的局限性，提高评价结果的客观性与准确性，适用于盾构隧道施工适应性研究。

摘要： 用于对数据进行压缩和解压缩的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面中，一种方法包括：使用编码器神经网络处理数据以生成数据的潜在表示；使用超编码器神经网络处理数据的潜在表示以生成熵模型的潜在表示；生成熵模型的潜在表示的熵编码表示；使用熵模型的潜在表示生成数据的潜在表示的熵编码表示；以及从以下各项的熵编码表示中确定数据的压缩表示：(i)数据的潜在表示和(ii)用于对数据的潜在表示进行熵编码的熵模型的潜在表示。

摘要： 本发明提供一种新的基于混合特征KDE条件熵的特征选择方法，该方法提出了混合特征KDE概率和混合特征KDE熵，在不将连续数据离散的情况下将离散特征和连续特征有效统一于KDE熵中，拓展了信息理论并提出了基于混合特征KDE条件熵的贪心特征选择方法。

摘要： 本发明公开了基于对称不确定性联合条件熵的特征选择方法，通过计算已选特征和候选特征以及分类之间的互信息来选取最优特征，基于对称不确定性联合条件熵的算法不仅考虑了特征和类别之间的相关性，还考虑了特征和特征之间的冗余性。本发明能够快速地定位到与类别相关性强并且与已选特征之间冗余较小的特征，极大的提高了分类的准确性和效率。

摘要： 本发明公开了一种基于分组条件熵的网络流量多模块聚类异常检测方法，将原始网络流量数据进行预处理后分割成为各个特征组，将特征组进行初步聚类后求出聚类结果置信度并求条件熵，之后再将每组条件熵进行进一步聚类来求出该网络包是否具有异常流量的特征。本发明的网络流量数据处理方法，将其最大限度抽象，设计了分组多模块聚类算法来进行网络流量异常检测，将原本分散且影响因子小的特征组合在一起，将其转换成汇聚且对分类结果影响更大的组别。能更加有效地提高数据的抽象程度，使其中各类异常流量都能在聚类结果中表现出更紧密的汇聚效果。

摘要： 本发明公开了一种基于深度强化学习和条件熵瓶颈的智能体控制方法，目的是解决图像连续控制任务中深度强化学习智能体控制方法控制策略精准度较低的问题。技术方案是：构建由感知模块、行动模块、存储模块、数据扩充模块、特征提取模块和控制模块组成的基于深度强化学习和条件熵瓶颈的智能体控制系统；基于条件熵瓶颈构建特征提取模块目标函数，通过变分推理技术得到相应的优化损失函数；构建图像连续控制任务仿真环境；智能体在仿真环境中训练控制系统，得到优化的网络参数；特征提取模块和控制模块加载网络参数得到训练后的控制系统。训练后的控制系统部署于真实环境的智能体，完成图像连续控制任务。采用本发明可提升智能体控制策略的精准度。

摘要： 本发明公开了一种基于联合互信息和条件熵的视图构建方法，具体为：首先对数据集进行不完整化；接着把数据集分为训练集和测试集；然后在训练集使用基于联合互信息和条件熵的视图构建方法来选出视图，用选出的视图训练分类器得到训练模型；最后使用测试集对模型进行测试。本发明中使用联合互信息和条件熵来构建视图，既考虑了选出的特征对于分类效果的提升程度，又考虑了待选特征和已选特征集合的冗余性，提高了测试数据的分类精度和稳定性。

摘要： 本发明公开了一种基于条件熵下随机游走的FW‑LDA主题识别方法，该方法首先采用条件熵计算所有资源中任意两个资源之间的关联关系，并生成资源关系图；根据资源关系图使用随机游走方法获取每个资源的权重值；将每个资源的权重值作用于每个资源的特征词上并进行特征词加权方法计算；根据每个特征词的对应的权值形成一组加权向量并作用于FW‑LDA中，以及将文档输入FW‑LDA中用于获取文档资源的潜在主题。本发明充分考虑的不同资源的之间的潜在关联关系，有效提升模型对潜在主题的挖掘和语义理解性上的提高。

摘要： 本发明公开了一种基于近似质量与条件熵的属性约简方法，其采用求解近似质量约简的启发式算法，输入为邻域决策系统DS＝，约束条件，度量准则γ，输出为一个近似质量约简red，在邻域粗糙集上考虑基于单一准则的属性约简的结果虽然能够满足相应度量指标的约束条件，但是不能保证其仍然满足其他度量准则，所以本发明提供的算法融合近似质量和条件熵的多重准则作为度量指标的约简新方法，实验结果表明，新的约简不仅能够在保持近似质量不发生明显变化的基础上降低条件熵，而且可以有效的提升分类精度。