连续查询

摘要： 随着软件项目规模的增大与复杂性的增加,测试过程产生了大量的错误报告,其中重复的错误报告广泛存在.重复错误报告的存在,降低了开发人员修复错误的效率.重复错误报告预测可有效地避免重复错误报告的产生,是近年来的热门研究方向之一,但其效率及准确率有待提高.为此,提出一种基于语义扩展连续查询的重复错误报告预测方法,通过构建基于主题模型的错误报告索引词库,对查询词序列进行语义扩展,采用基于连续查询的错误报告检索算法,在缩小索引空间的同时,提升了预测准确率与效率.实验表明,相较于传统重复错误报告预测方法,该方法减小了50%以上的错误报告索引空间,最高提升了33.6%的预测效果,且缩短了41%–73%的检索时间.

摘要： 移动设备的普及为基于位置的服务应用带来新的发展机遇,但在使用LBS时造成的轨迹隐私泄露问题成为LBS普及的隐患.轨迹泛化法是一种轨迹隐私保护技术,在保护轨迹隐私的同时还可提高服务质量.基于组的轨迹隐私保护技术特点,对不考虑移动趋势的轨迹泛化法进行分析,总结基于移动趋势的轨迹隐私保护方法并对未来研究方向进行展望.

摘要： 空间文本数据流上连续查询(CQST)在基于位置的服务中应用广泛,其在不断更新的数据流上,持续监控满足空间和文本约束的结果.为了将数据流中的对象尽快匹配给CQST,在CQST上构建高效的过滤技术是关键.CQST查询评估方法——为查询选取恰当的空间文本索引,构建高效的过滤策略提升索引的空间文本过滤性能,为数据流中到来的对象过滤大量不相关的查询,避免高昂的验证代价,提高对象与查询的匹配效率.现有工作利用有限的空间索引和文本索引构建空间文本混合索引,其评估性能差异取决于采用的过滤策略,即提升索引过滤性能的技术.以现有CQST查询优化技术为主要研究对象,对评估CQST的流程以及存在的挑战进行了介绍;对在中央服务器及分布式集群上评估CQST的空间过滤技术及文本过滤技术进行综述比较,包含采用的空间文本混合索引,为提升索引过滤性能采用的空间过滤策略、文本过滤策略及二者的结合机制,分析总结其利弊,讨论评估CQST未来可能的研究方向.

摘要： 空间文本数据流上连续k近邻查询(Continuous k-nearest neighbor Queries over Spatial-Textual data streams,CkQST)能在空间文本对象组成的数据流上检索并实时更新k个包含指定关键字的空间邻近对象,是空间文本数据流上连续查询(Continuous Queries over Spatial-Textual data streams,CQST)的一种,以预订(subscribe)的方式广泛应用于广告定位、微博分析、地图导航等领域.求解CkQST采用CQST的求解框架——构建空间文本混合索引组织查询,利用索引的空间过滤和文本过滤能力,为不断到来的对象匹配查询.该框架的求解效率取决于索引的过滤能力,提高索引过滤能力的主要途径是将查询的空间搜索范围映射到索引结构的最小区域,减少需要验证的查询数量.这一途径适用于查询空间搜索范围很少变化的情况.对于CkQST,覆盖k个最邻近对象的空间范围随着符合文本匹配条件的对象的数量的变化而变化,与之对应的索引项需要同步更新,代价高.针对这一问题,本文选择能够高效支持空间范围变化的Quad-tree和关键字查找的倒排索引,构成空间文本混合索引,组织CkQST.在空间过滤方面,提出内存代价模型VUMBCM(Verification and Update of Memory-Based Cost Model),通过平衡索引更新代价和验证代价,优化查询空间搜索范围到Quad-tree节点的映射.在文本过滤方面,采用基于块的有序倒排索引,组织Quad-tree节点内的查询,以快速定位需要验证的查询,避免对倒排列表中大量不可能匹配查询的访问;批量处理包含共同文本项的对象,提高文本验证时的对象吞吐量.由此构建的混合索引,称为OIQ-tree.实验表明,OIQ-tree中的代价模型及基于块的有序倒排索引能够支持CkQST的高效求解.与目前先进的索引技术相比,当查询规模达到2000万时,因数据流中对象的变化导致的索引平均更新时间降低了 46％,数据流中对象的平均处理时间降低了 22％.

摘要： 针对用户连续位置查询请求服务中未考虑语义信息而导致用户敏感语义泄露问题,为了实现对道路网络上客户端的查询隐私、位置隐私和语义位置隐私保护,本文提出一种离线轨迹聚类和语义位置图相结合的算法来进行隐藏用户的选择,使隐藏用户的位置具有明显的多样性和不同的语义以及多样化的服务请求,有效保护客户端的语义和位置隐私.在具有2个定义指标的真实地图上评估了该算法的有效性,整个连续查询道路网络服务的过程中,有很好的成功率和查询处理时间.同时与现有的其他可信第三方模型算法进行了对比分析,验证了本文算法的有效性.

摘要： 针对连续查询位置服务中构造匿名区域未考虑语义位置信息导致敏感隐私泄露问题,通过设计(K,θ)-隐私模型,提出一种路网环境下面向连续查询的敏感语义位置隐私保护方案.该方案利用Voronoi图将城市路网预先划分为独立的Voronoi单元,依据用户的移动路径和移动速度,选择具有相似特性的其他K-1个用户,构建匿名用户集;利用匿名用户集用户设定的敏感语义位置类型和语义安全阈值,以及用户所处语义位置的Voronoi单元,构建满足(K,θ)-隐私模型的语义安全匿名区域,可以同时防止连续查询追踪攻击和语义推断攻击.实验结果表明,与SCPA算法相比,该方案在隐私保护程度上提升约15％,系统开销上降低约20％.

摘要： 位置数据带来了巨大的经济效益,但位置隐私泄露的问题也随之而来.针对连续R-range查询中遭到的最大移动边界(Maximum Movement Boundary,MMB)攻击问题,提出一种基于预先缓存的隐私保护机制.首先,提出伪随机泛化方法,以在保证位置隐私的基础上控制快照查询的泛化区域;接着,在该泛化查询区域内预测即将到达的路口,利用路口位置计算并预先缓存下一泛化查询区域.预先缓存的方法降低了连续查询间的时间关联,并提高了隐私保护水平.性能分析和实验结果表明,所提隐私保护机制能有效地减少最大移动边界攻击带来的隐私泄露问题.

摘要： 连续查询时由于轨迹位置间的相关性,满足差分隐私定义要求的拉普拉斯混淆机制在查询次数较少时可以很好地起到位置隐私保护作用,但独立向每个真实位置添加噪声导致隐私预算水平迅速消耗.针对这一问题,提出一种可预测的差分扰动用户轨迹隐私保护方法,由预测函数、测试函数和噪声机制三部分构成,同时使用预算管理器配置每步所需参数.如果预测函数生成的干扰位置通过测试函数,则直接使用该位置请求服务,否则通过噪声机制重新生成一干扰位置.实验结果表明,该方法比单独向每个位置添加噪声在轨迹偏移度和隐私预算消耗率上均具有较高优势,实现了隐私保护度与服务质量的平衡.%During continuous query,the Laplacian obfuscation mechanism that meets differential privacy definition can play a good role in position privacy protection when the number of queries is small,but the independent noise is added to each real position results in a privacy budget level quickly consumes due to trajectory position correlation. To solve this problem,this paper proposes a predictable differential perturbation user trajectory privacy protection method consisting of a prediction function,a test function and a noise mecha-nism. At the same time,a budget manager is used to configure the parameters required for each step. If the perturbation position gener-ated by the prediction function passes the test function,it is directly used to request the service,otherwise,an perturbation position is regenerated by the noise mechanism. The experimental results show that this method has higher advantages in track offset degree and privacy budget consumption rate than independently adding noise to each location and achieves a balance between privacy protection and service quality.

摘要： According to the unique characteristics of the data stream,with consecutive grouping statistics based on window model in the data flow as application scenarios,combined with the advantages of mainstream stream data processing platform like Storm and Spark Streaming, we propose a distributed statistical model of data stream with high throughput and scalability as well as low latency,namely Mars. It solves the problems of strong throughput and low latency due to losing data easily and strong timelessness. On the fault-tolerant,Mars provides at-least-once semantic support against major errors. It is tested in real experiment environment and made a comparison with the currently pop-ular distributed flow processing platform Spark Streaming and Storm,which show that it is between them in real-time operation delay for da-ta. However,in terms of the scale of the cluster,Mars' throughput rate is significantly better than that of the two,and in terms of semantic accuracy,it achieves the semantic limits of the same level as Storm.%结合流数据独有的特点,以数据流上基于窗口模型的连续分组统计为应用场景,结合现今主流的流数据处理平台Storm和Spark Streaming的优点,提出了一个高吞吐、低延迟、高可扩展性的分布式数据流统计模型Mars,解决由于流数据易失、时效性强造成的吞吐量压力大、数据延迟低等问题.在容错方面,Mars提供了at-least-once语义支持以防出现重大错误.采用真实实验环境对Mars进行测试,与目前流行的分布式流处理平台Spark Streaming和Storm相比,Mars对数据的实时性操作延迟介于二者之间,但就不同的集群规模而言,Mars的吞吐率明显优于二者1到2倍,就语义准确性而言,Mars实现了与Storm同级别的语义限制.

摘要： 针对基于位置服务中连续查询可能存在的隐私泄露问题,提出基于历史轨迹的连续查询隐私保护匿名算法.首先针对传统基于贪心策略的两条轨迹匿名算法无法保证全局最小轨迹扭曲度的不足,设计出可保证全局最优的两条轨迹匿名动态规划算法,找出历史轨迹与连续查询所对应的基轨迹之间的最优配对方案;然后在此基础上提出可有效保护连续查询隐私的轨迹匿名算法.对本文算法与同类算法在发布轨迹数据质量上进行实验比较分析,仿真实验结果表明本文算法是有效可行的.

摘要： 针对基于位置服务中连续查询可能存在的隐私泄露问题,提出基于历史轨迹的连续查询隐私保护匿名算法.首先针对传统基于贪心策略的两条轨迹匿名算法无法保证全局最小轨迹扭曲度的不足,设计出可保证全局最优的两条轨迹匿名动态规划算法,找出历史轨迹与连续查询所对应的基轨迹之间的最优配对方案;然后在此基础上提出可有效保护连续查询隐私的轨迹匿名算法.对本文算法与同类算法在发布轨迹数据质量上进行实验比较分析,仿真实验结果表明本文算法是有效可行的。

摘要： 近年来，伴随着移动计算技术和无限设备的蓬勃发展，位置服务中的隐私保护研究受到了学术界的广泛关注，提出了很多匿名算法以保护移动用户的隐私信息。但是现有方法均针对snapshot查询，不能适用于连续查询。本文阐述了如果将现有的静态匿名算法应用于连续查询，将会产生查询隐私泄露、匿名服务器工作代价大等问题。针对这些问题，本文提出了δp-隐私模型和δq-质量模型来均衡隐私保护与服务质量的矛盾，并基于此提出了一个贪心匿名算法。该算法不仅适用于snapshot查询，也适用于连续查询。最后，实验结果证明了算法的有效性。

摘要： 连续查询(continuous queries,CQ)是时空数据库中重要的查询类型.针对基于TPR树索引和R树索引的大量并发连续查询处理,提出了一种可伸缩的增量连续查询处理(scalable processing of incremental continuous queries,SICQ)框架,通过引入搜索区域进行预裁剪以减少查询更新所需要的索引节点访问代价,并引入了增量结果表保存候选对象、批量地更新查询结果集.SICQ框架能够高效处理大量并发的连续查询,具有良好的可伸缩性.基于SICQ框架提出了一种增量更新的SICQ查询处理算法,能够基于上次查询结果增量地更新查询,支持查询集合中加入或删除查询和对象数据集的插入、删除等动态更新操作.实验结果与分析表明,基于SICQ算法的SICQ框架可以很好地支持大量并发的连续查询处理,具有良好的实用价值.

摘要： 随着计算机技术的发展,在当今的软硬件技术环境下,客户/服务器模型已不能满足需求,其单点故障和热点问题已经变得越来越不可接受.Peer-to-Peer模型(又称P2P模型或对等计算模型)是一种新型的体系结构模型,具有许多优势有待进一步发掘:首先,P2P系统的每个成员均可贡献数据和计算资源(例如,未用的CPU周期和存储资源),新成员的加入可能引入系统中原来缺乏的特殊数据或资源,因此,随着系统成员增加,系统的丰富性、多样性等各种有益的特性得以扩大;其次,P2P系统具有分散性,因此,系统的健壮性、可用性和性能可能随着peer的数量增加而扩展;另外,通过在许多peer间路由请求和复制内容,系统可以隐藏数据的提供者和消费者的身份,使个人的隐私得到保护.因此P2P被认为是未来重构分布式体系结构的关键技术.P2P在搜索引擎、数据流管理、语义网、协作信息过滤等领域具有广阔的应用前景.本文首先分析P2P上连续查询研究现状,在此基础上,提出一种基于super-peer的连续查询策略,通过相似连续查询的聚簇减少重复操作;利用结构化重叠网络连接super-peer,保证了在有限的跳步内能够找到存在的相似的查询;通过对查询聚簇进行微调,在尽量少地影响查询聚簇的情况下,改善负载平衡.将来我们将对该算法中最优的阈值选择进行进一步的研究.

摘要： 本文提出两种数据流上的滑动窗口压缩技术,有效地降低了滑动窗口的存储空间需求.同时,给出了基于压缩滑动窗口的连续查询处理算法,理论分析和实验结果表明,这些算法具有很好的性能,能够满足数据流连续查询处理的实时性要求。

摘要： 本文应用机群并行技术处理滑动窗口的连续查询,有效地解决了复杂滑动窗口连续查询处理的主存溢出问题，提出了几种连续查询操作的并行实现算法,给出了并行连续查询计划的表示模型和优化的并行查询计划生成算法,理论分析和实验结果表明，本文提出的方法是有效的。

摘要： 在分布式数据流中的查询大多表现为连续查询形式,这种查询方式一旦被注册到流系统中后就一直存在,除非特意将其删除.由于流系统中的输入数据是源源不断到来的,因此数据流中的连续查询并不存在传统分布式数据库中查询任务的完成时间概念,反之,它则更关心查询结果的时间延迟.基于此,提出了两种最小化连续查询结果时间延迟的操作符负载分配策略,即PTDM算法和PPLB算法.实验结果表明,相比于其他一些操作符负载分配策略而言,这两种负载分配策略可以有效减小连续查询结果的时间延迟,从而提高分布式数据流的连续查询效率.

摘要： 在数据流上的连续查询操作中,连接操作是比较重要的一类操作.数据流上数据的变化总体上呈现一个连续性,并且在很多实际的情况下变化是逐渐发生的.数据流系统中的局部性可以表现为数据之间的局部性及连续查询之间的局部性.认为这些特性可以被用来提高数据流系统和应用当中的查询处理性能,尤其是研究相对较少的范围连接.提出的一种基于局部特征的数据流滑动窗口的范围连接索引,充分考虑了用户提交的查询所带有的局部性特征和数据流本身局部性特征,设计了LAQI结构来提高范围连接性能,然后在此基础上提出了LAAQI结构,并针对周期更新滑动窗口提出了范围连接的相应策略.实验证明,这些策略相对于传统范围的连接方法具有很好的性能.

摘要： 流数据处理系统是目前研究的热点,流数据受环境影响非常明显.在不同环境下的性能和稳定性是流数据处理系统的关键和核心.本文在深入分析和研究CPU和内存在流数据处理中的特点,提出的自适应方案基本解决了流数据处理系统中CPU和内存两种关键资源在严重缺乏情况下保证系统正常运行的问题,能有效地提高系统自我调节以适应环境变化的能力,增强了系统的健壮性。

摘要： 本发明公开了一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法，对网格索引下的连续范围查询，结合范围查询语义，利用Redis存储并负责更新网格内移动对象数量，将查询范围内的移动对象数量作为评估代价，按照查询代价将范围查询任务分到相应的组，同一个组内的范围查询任务轮询地分发到下游worker，轮询计数器由Redis维护，实现全局分组轮询的分组策略，能够根据分组策略有效地提高了系统负载均衡度，从而提高了系统的资源利用率。

摘要： 本发明的拥塞感知的路网移动对象连续K近邻查询方法，首先基于拥塞感知的路网扩展方式，感知出每条道路的拥塞性，以拥塞权重的路网距离作为移动对象和查询点之间的距离衡量标准。然后设置合理的监测范围构建局部路网，高效地查询出时间段[ti,tj]内任意时刻K个距离查询点带权路网距离最近邻的移动对象。本发明的优点是：引入道路的拥塞性，以拥塞权重的路网距离作为移动对象和查询点之间的距离衡量标准，提高在了现实应用中的准确性和适用性，使连续K近邻查询结果更接近真实路网环境下的最优解。然后使用合理的监测范围构建局部路网，提高了算法的查询效率。

摘要： 本发明是一种时间依赖路网中的连续k近邻查询方法，本方法在离线阶段为每个兴趣点预先计算出潜在1NN结果区域，当查询发起时，该方法先查找与指定路径上每对相邻端点构成的最小外包矩形相交的潜在1NN结果区域，将其对应的兴趣点加入到结果候选集中；再利用指定路径的出发时刻以及相应边的权值函数可以计算出指定路径上每个端点的到达时间；再根据查询点的移动方向，为每段子路径建立查询点到候选集中每个兴趣点的函数模型；最后根据函数模型可以有效地找到k近邻结果变化的时间和空间分割点及相应的k近邻结果。本发明能够快速检索到可能成为结果的兴趣点结果候选集，再根据函数模型划分时间分割点，有效地解决了时间依赖路网中的连续k近邻查询。

摘要： 本发明提供一种多个连续top‑k关键词查询结果更新方法、系统、存储介质及终端，包括以下步骤：将每个关键词基于关系数据库在先元组查询的备选网络表示为一个以新元组为根节点的网络树；通过自上向下合并近似边的方式将所有的网络树合并为一个以新元组为根节点的根树；自上向下逐层计算所述根树中的连接，并根据连接之间的相似性进行合并查询，以获取多个连续top‑k关键词基于新元组的查询结果。本发明的多个连续top‑k关键词查询结果更新方法、系统、存储介质及终端有效地提高了关系数据库中多个连续top‑k关键词搜索的效率；降低了搜索处理过程中对关系数据库的频繁访问；降低了搜索处理过程中的服务器内存消耗。

摘要： 本发明公开了一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法，对网格索引下的连续范围查询，结合范围查询语义，利用Redis存储并负责更新网格内移动对象数量，将查询范围内的移动对象数量作为评估代价，按照查询代价将范围查询任务分到相应的组，同一个组内的范围查询任务轮询地分发到下游worker，轮询计数器由Redis维护，实现全局分组轮询的分组策略，能够根据分组策略有效地提高了系统负载均衡度，从而提高了系统的资源利用率。

摘要： 本发明提供基于动态假名的连续查询语义位置隐私保护方法及系统、连续查询系统，属于计算机技术领域。包括：获取预划分的多个维诺单元及当前用户的查询请求；根据多个维诺单元、当前用户语义位置及隐私需求，构建匿名区域；根据当前用户信息所示出当前用户的查询次数情况、以及匿名用户集合中的用户信息与获取到的匿名区域的历史匿名用户集合的关联结果，确定与查询次数情况及关联结果对应的输出匿名区域；以及获取与输出匿名区域及查询内容相关联的查询结果集后，根据当前用户的查询请求，过滤查询结果集以获得查询请求对应的查询结果输出。本发明可以保证用户的位置及身份的安全。

摘要： 提供了用于管理策略查询到连续查询转换的技术。在一些例子中，可以确定策略查询，所述策略查询被配置为使得能够将事件数据从数据库拉到查询引擎。例如，查询引擎可以被配置有策略查询。所述配置可以至少部分基于将显示的事件数据的指示。此外，在一些例子中，可以使得能够将策略查询转换为连续查询。转换或转换的使能可以至少部分基于请求。

摘要： 本发明涉及一种地理空间实时流数据下移动对象连续查询方法，包括以下步骤：S1、地理空间实时流数据获取；S2、构造实时更新的地理空间实时流数据索引；S3、根据索引以及上一时刻查询结果，得到当前时刻查询结果；S4、更新结果集以待下一次查询使用。本发明提高了连续查询效率；解决了短时间内多次同一查询产生大量重复无效计算问题，使得实时流数据处理能力极大提高；高度符合地理空间实时流数据处理需要，提出的连续查询方法有效解决了查询移动对象过程中系统资源占用率过高问题。

摘要： 本发明提供基于动态假名的连续查询语义位置隐私保护方法及系统、连续查询系统，属于计算机技术领域。包括：获取预划分的多个维诺单元及当前用户的查询请求；根据多个维诺单元、当前用户语义位置及隐私需求，构建匿名区域；根据当前用户信息所示出当前用户的查询次数情况、以及匿名用户集合中的用户信息与获取到的匿名区域的历史匿名用户集合的关联结果，确定与查询次数情况及关联结果对应的输出匿名区域；以及获取与输出匿名区域及查询内容相关联的查询结果集后，根据当前用户的查询请求，过滤查询结果集以获得查询请求对应的查询结果输出。本发明可以保证用户的位置及身份的安全。

摘要： 提供了用于管理策略查询到连续查询转换的技术。在一些例子中，可以确定策略查询，所述策略查询被配置为使得能够将事件数据从数据库拉到查询引擎。例如，查询引擎可以被配置有策略查询。所述配置可以至少部分基于将显示的事件数据的指示。此外，在一些例子中，可以使得能够将策略查询转换为连续查询。转换或转换的使能可以至少部分基于请求。