微博网络关键节点和关键链路识别方法研究与软件研制

摘要

微博凭借其短小、实时、便捷和参与广泛的特点成为了最热门的在线社交网络之一。目前存在的微博网络研究主要关注其粉丝关系网络，而本文创新之处在于研究微博博客的转发网络，该网络由某一类具有相关主题的博文转发网络组成，能够表征出针对某一类微博事件，参与者在其中起到的作用，同时能够发掘出参与者之间的链接关系。
　　本文研究主体为微博博客转发网络，研究该网络中相关网络数据的获取技术，研究该网络关键节点和关键链路的识别技术，并研制软件以获得具体网络中的关键节点和关键链路，具体内容：（1）首先运用网络爬虫技术爬取和主题关键字相匹配的微博博文，其次获取到微博用户转发该条博文所形成的博文转发网络。该转发网络中的节点为博文转发者，转发网络中的有向链接则为微博用户之间对该博文转发的关系。再次由于微博转发网络规模巨大，在每个转发网络中去除叶子节点得到第一次简化的网络。最后再把多个同类博文转发网络进行融合，得到关于该类博文的整体转发网络拓扑邻接矩阵。在该邻接矩阵中根据计算分析需要递归地进行第二次网络简化。（2）基于网页排名算法PageRank的思想设计出博客转发网络的PageRank值传递函数，结合博客转发邻接矩阵计算出每个转发者的PageRank值，排名靠前的就是关键节点，连接关键节点之间最短的有向链接就是关键链路。关键节点的识别算法中涉及博客转发网络环的化简，关键链路的识别使用了基于六度分割理论的多点最短有向路径算法。（3）基于上述研究成果，实现了微博网络关键节点和关键链路识别软件的研制。该软件分为三大模块：数据采集模块、数据处理模块和界面显示模块。分别对应了网络数据爬取与化简、关键节点关键链路识别和操作界面与网络拓扑图显示。通过系统的研究、设计、实现和测试，证明了该系统能够正确识别博客转发网络中的关键节点和关键链路。这为社交网络的监督、管理以及商业兴趣导向的分析提供了重要的参考依据。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景

1.2研究意义

1.3研究现状

1.4本文研究内容

1.5论文章节安排

第二章 在线社交网络相关关键技术

2.1网络爬虫技术

2.2微博博客转发网络数据融合技术

2.3在线社交网络社团发现技术

2.4在线社交网络关键节点关键链路识别技术

2.5本章小结

第三章 微博博客转发网络的爬取技术

3.1新浪微博特点

3.2网络爬虫关键技术解决方法

3.3转发主页发现与解析

3.4多网络数据的融合与化简

3.5本章小结

第四章 博客转发网络关键节点和关键链路的识别

4.1相关工作

4.2基于PageRank的关键节点识别

4.3关键节点识别算法的整体流程

4.4关键链路的识别

4.5本章小结

第五章 微博网络关键节点关键链路识别系统研制

5.1软件系统结构

5.2软件各功能模块实现

5.3软件数据测试

5.4软件测试结果分析

5.5本章小结

第六章 结论

6.1工作总结

6.2工作展望

致谢

参考文献

个人简历

硕士研究生期间取得的研究成果