爬虫

摘要： 现代生活中,因工作、学习和生活压力导致的抑郁症的发生率有所增加。为了及时发现抑郁情绪并进行积极的心理疏导,本文开发了一款智能情绪检测与疏导的应用程序。该系统通过不断深度学习,最终做到能够识别用户情绪并给出相应的情绪疏导。

摘要： 社交网络用户言论及关联性问题一直是舆情监控的一个重要工作和难点问题,针对用户不当言论及同一言论下不同用户之间的关联关系,文中通过爬虫和深度学习方法,以及大数据分析平台实现了针对用户不当评论信息来进行关联挖掘,通过爬取微博社交平台数据验证了论文提出的系统架构和方法,并取得了不错的效果。

摘要： 为了提高网络工程专业学生对于复杂工程问题的解决能力,本文提出了将爬虫技术融合进企业场景的复杂工程问题的实训方案。实践的效果显示,学生在基于企业场景的复杂工程问题解决过程中,培养了分析、检索、解决、总结和合作的综合能力。

摘要： 随着科学技术的不断发展,各类新型武器装备层出不穷,武器装备信息呈现出的来源更加广泛、形式更加多样、处理更加复杂的态势,如何快速获取、处理、分析武器装备信息对于武器装备的研究论证、开发以及作战运用具有重要意义。论文利用爬虫、文本预处理技术,从门户网站抓取大量武器装备相关信息,构建了武器装备领域的语料库,对基于深度学习的武器装备语料的自动分类方法进行了研究,并提出了基于Attention-CNN的武器装备语料分类方法。实验结果显示该方法准确率为0.9756、召回率为0.9744、F1-score为0.9744,具有较高的分类效果。实验结果表明Attention-CNN方法能够大大提高武器装备相关信息获取、分析效率,对于辅助情报分析人员开展武器装备情报分析工作,为高新武器装备研发、作战运用提供信息保障具有重要意义。

摘要： 随着大数据时代的到来,互联网技术的快速发展,人们的听歌模式也发生了翻天覆地的变化,音乐数字化给人们的生活带来了便利,在线音乐播放成为主流。听音乐是当代年轻人最常见的解压方式之一,随之而来的在线音乐平台更是层出不穷,其中的网易云音乐最受当代年轻人的青睐。为了让用户更加清晰地了解音乐类型的分布、音乐潮流趋势,文章利用Python网络爬虫技术,从网易云网站爬取相关数据,对音乐类型、音乐播放数量以及评论等多个角度进行分析,并使用Python可视化库中的Matplotlib对数据进行可视化分析,用图表的形式,从多重角度对音乐进行分析,让用户更加清晰地了解音乐类型的分布、音乐潮流趋势,为用户选择音乐提供一个参考。

摘要： 设计了一种宏观与微观相结合的文献分析基本框架.首先,基于统计学的平均思想提出了一种文献质量指标评价体系.然后,基于爬虫和统计技术并借助于Python编程语言丰富而强大的标准库和第三方库,构建并编程实现了一个能完成文献自动收集和分析的智能科研辅助系统.实验结果表明,用户输入检索条件后,系统能自动收集中国知网上相关文献信息并快速有效地向用户呈现一份图文并茂的文献分析报告.

摘要： 在各大电商营业平台(如淘宝,天猫等)上,商家间的竞争愈演愈烈。因此诱发部分商家不惜通过不公平竞争的手段来提高自家店铺的人气和销量,其中设置商品虚假价格是淘宝中SKU作弊最常见的一种行为。为了识别SKU作弊的这种设置虚假价格的行为,通过分析研究有关商城平台虚假评论的检测方法,通过python爬虫技术爬取淘宝中各类商品的商品数据生成信息文本,然后基于淘宝运营下商品价格设置规则下划分数据正负样本,由此构建价格信息向量化特征作为模型的输入,后用机械学习中的集成学习方法随机森林进行模型验证。实验表明对该类数据样本的正负样本识别的准确率,召回率,F1值均达到了96%以上,同时与其他分类算法作对比实验,结果证明该方法的检测效果最好。

摘要： 研究并设计实现了一个基于Python的爬虫,用来爬取拉勾网数据资源。针对想要的信息数据进行定向爬取,对爬取到的信息进行存储、数据清洗及可视化分析。最终得到全国范围内招聘Python工程师的公司以及相关的待遇及要求。

摘要： 本文探讨爬虫爬取数据行为的正当性标准。首先从爬虫协议的性质出发,认为由于爬虫协议有人为设置以排除和限制竞争的可能,故不能想当然地作为判断爬取行为是否正当的标准,爬取行为是否正当仍然要从《反不正当竞争法》所保护的法益出发。进而分析了经营者、其他经营者、消费者三方主体间的两对关系,认为判断爬取行为是否正当要将目光放在爬取的次数、数量、使用方式以及何为处理信息的“合理范围”上,从而均衡各方利益,促进信息流通,鼓励创新。

摘要： Akamai监测发现,针对中国零售和电子商务行业的恶意僵尸网络活动在春节前后激增,爬虫攻击给电子商务的全球化拓展带来极大的挑战。数字时代,网购已成为人们日常购物消费的主要渠道,受新冠肺炎疫情影响,为减少不必要的接触,网购的用户活跃度也得到较大地增长。电商正成为爬虫攻击的主战场Akamai监测发现,从去年“双十一”到今年春节,再到今年北京冬奥会,这期间电子商务流量呈现爆发式增长,针对电子商务的爬虫攻击与以往相比也呈现多样化、复杂化和高频化的特征。

摘要： 随着Web的发展,越来越多的数据可以通过表单提交来获取,这些表单提交所产生信息是由Deep Web后台数据库动态产生的.在这种情况下,信息集成就更加需要Web爬虫来自动获取这些页面以进一步地处理数据.为了帮助用户完成这样的任务,提出一种用于搜集Deep Web页面的爬虫的设计方法.此方法使用一个预定义的领域本体知识库来识别这些页面的内容,同时利用一些来自Web站点的导航模式来识别自动填写表单时所需进行的路径导航.通过对来自不同领域的Deep Web站点的大量实验,验证了此方法是非常有效的。

摘要： 本发明公开了一种调整爬虫更新频率的方法、存储介质及爬虫服务器，所述方法包括：在预设爬虫任务表中查找第一标识字符为第一预设数值的渠道，并获取各渠道中爬虫采集数据的数据量；计算获取到的所有数据量的平均值；根据所述平均值以及各渠道对应的数据量确定各渠道的第二标识字符，并采用所述第二标识字符对所述预设爬虫任务表进行更新。本发明通过在每一轮爬虫任务后，更新渠道的标识字符，并通过所述标识字符自动化调整爬虫更新频率，同时也节约了人力成本和机器成本。

摘要： 本发明公开了一种爬虫方法以及基于浏览器的嵌入式爬虫实现方法，将数据爬取过程划分为若干子进程，监控并统计处于不同子进程的爬虫元素的数量；所述子进程包括缓冲进程、工作进程和完成进程；根据预先配置的并行爬虫数量对处于所述工作进程中的爬虫元素的数量进行调节；本发明支持自主控制并行爬取数量，控制性能消耗，易用性好；嵌入式爬虫运行在爬取页面的作用域，爬虫可以利用浏览器的各种库，包括DOM操作等，实现了模拟用户浏览的爬虫，具有很强的隐蔽性。整体运行逻辑清晰，方便调试查错。

摘要： 本发明公开了一种爬虫协议管理方法及装置，所述方法包括：获取站点的爬虫协议文件，并将所述爬虫协议文件加入消息队列中；实时监测所述消息队列，对所述消息队列中新加入的爬虫协议文件进行解析处理，得到解析后的爬虫协议文件，所述解析后的爬虫协议文件包括站点与爬虫协议的对应关系；将所述解析后的爬虫协议文件存入数据库中。本发明还提供一种爬虫系统。利用本发明，可以实现对爬虫协议的统一管理。

摘要： 本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统，包括主服务器和多个与主服务器互通的爬虫服务器，每个所述爬虫服务器的下游设置多个爬虫采集节点，包括系统分布式爬虫负载均衡过程：所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务，请求页面任务和分析页面任务之间循环交替进行。对各个所述爬虫采集节点的节点状态信息进行监控和分析，从而所述主服务器可及时对所述爬虫采集节点进行调配，避免出现部分爬虫采集节点处于空载状态，提高爬虫采集节点的整体利用率，减少资源浪费。

摘要： [课题]提供一种在皮革的制造过程中，能够通过6价铬处理剂对皮革进行处理而不使外观发生变化的爬虫类皮革的制造方法。[解决方案]本发明的爬虫类皮革的制造方法包括：铬鞣革工序，对爬虫类的皮进行铬鞣革得到皮革；染色加脂工序，对经过铬鞣革的皮革同时进行染色和加脂；和整饰工序，对经过染色和加脂的皮革进行整饰，该爬虫类皮革的制造方法还包括：6价铬处理工序，对于在铬鞣革工序中经过铬鞣革的皮革，在供于整饰工序前，使之附着能够将6价铬还原为3价铬的6价铬还原化合物。

摘要： 本申请公开了一种确定URL爬虫优先级的方法、爬虫方法、介质及爬虫系统，属于通信计算机技术领域。该确定URL爬虫优先级方法包括：根据URL队列中的种子URL对应网页的重要程度，确定种子URL的爬虫优先级；根据种子URL的爬虫优先级，确定相应种子URL对应网页的爬虫优先顺序和、或爬虫频率；以及依据爬虫优先顺序和、或爬虫频率，对相应的网页进行爬虫。本申请的应用确定种子URL的爬虫优先级，提高网络爬虫的效率。

摘要： 本发明提供了一种分布式动态可配置的爬虫平台及爬虫方法，用于从海量站点内定向抓取数据，包括用户输入爬虫需求，依据爬虫需求形成爬虫抓取规则；解析爬虫抓取规则形成爬虫任务，解析爬虫调度配置形成爬虫任务调度；根据爬虫任务对爬虫平台内多个爬虫子模块排序，选择排序最高的爬虫子模块作为最优爬虫运行节点；启动并执行爬虫任务，分别抓取m个目标站点的n个指定页面，解析指定页面URL并去重处理后加入待爬列队，直至m个目标站点中n个指定页面全部被抓取；对待爬列队中指定页面的结构化数据相似度检测，去重处理以降低冗余度，形成并保存爬虫结果。爬虫方法能够从海量站点内定向抓取数据，以快速高效的获取用户所需数据。

摘要： 本发明提供一种应对网页woff字体反爬虫的爬虫方法和装置。所述方法包括：获取网页的网络地址，并获取网站主体的参数信息；获取所述网络地址中的层叠样式表css链接，并从中获取评论类型的woff字体文件，基于获取的woff字体文件获取文字与对应编码的对应关系；请求评论网络地址，添加主体参数信息，并返回json格式的结果；提取所述json格式的结果中评论映射信息并转换为真实文字内容；保存抓取的真实文字内容。本发明能够在爬取数据时对网站的woff字体反爬措施进行有效应对，对采用了woff字体反爬技术的网站实现数据的准确、完整的抓取。

摘要： 本申请是关于爬虫调度管理平台通信方法和爬虫调度管理平台系统。该方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。

摘要： 本说明书实施例公开了一种辅助识别爬虫的、爬虫识别方法、装置和电子设备，其中，爬虫识别方法可以确定通过目标会话访问目标应用的网络资源地址的目标访问序列；然后基于预先训练得到的词向量字典，确定所述目标访问序列的特征向量，该词向量字典是以网络资源地址为分词，以多个访问序列为语料进行训练得到的；基于目标访问序列的特征向量和目标模型，确定目标会话的爬虫评估参数，该目标模型是以所述多个访问序列中爬虫用户对应的访问序列的特征向量为黑样本，以所述多个访问序列中非爬虫用户对应的访问序列的特征向量为白样本训练得到的；最后基于爬虫评估参数，确定目标会话中是否存在爬虫。本说明书实施例采用机器学习的方式识别爬虫。