在线社交网络性能优化机制研究

摘要

随着在线社交网络的发展，在线社交网络的类型日渐多样，用户量亦在不断增加，每个在线社交网络用户都能自主发布个性化数据，如日志、图片、视频以及推文等，这使得在线社交网络数据量剧增。在线社交网络呈现出以下几个特点：数据量巨大且增长速度快，并呈现多样性，用户具有高度的动态性和差异性。在线社交网络的这些特点，引发了一系列新的系统性能瓶颈问题，这极大地制约着在线社交网络的发展。如何解决这些性能瓶颈显得迫在眉睫。
　　在线社交网络信息检索即高私密性文本检索问题；在线社交网络并发访问问题即微博平台下大量用户并发访问问题；在线社交网络信息存储问题即移动平台下有效信息存储问题。这些问题都是在线社交网络在发展过程中不得不面对，且必须得到解决的关键难点问题。
　　在线社交网络的信息检索与传统的网页检索不同，其数据具有高度的私密性并使用Key-Value的存储模式，进行基于文本内容的检索非常困难。针对这个特点，本文提出一种高效的基于用户摘要索引的文本检索优化方法，提出一种轻量级好友摘要索引表的结构，将用户的两跳好友的文本内容映射到一个摘要索引表中，可以在保持检索效率的同时有效的解决在线社交网络中数据隐私保护问题。基于此设计的两级排序算法，依照用户的摘要索引表对好友进行排序，从而过滤掉那些不必要的好友访问，避免穷尽查询所引起的无效访问，能极大降低服务器之间的通信开销。然后，通过一种近似TF×IDF的文本排序算法，在保持较高的检索准确率的情况下，提高了检索效率，降低检索的响应时延。实验结果表明，基于用户摘要索引的文本检索优化方法可以减少穷尽查询引起的94.1％的网络通信开销，降低82.4%的查询时延，并且维持较高的检索准确率。
　　在线社交网络平台，特别是微博平台，所扮演的角色越来越趋向于新闻媒体平台。用户从微博平台获取重大事件的消息，比如地震救灾，大型体育赛事等。这些重大事件或突发事件，使网络平台的用户量在短时间内暴增，同时微博的流量也随之骤增，从而导致大量的对服务器的并发访问，极易造成拥塞，甚至导致系统平台崩溃。本文提出一种基于p2p的分布式微博并发访问优化方法，可以很好地解决突发事件发生时微博平台用户的大规模并发访问所引发的负载均衡以及可扩展性问题。利用 SoMed系统结构，根据用户行为的差异性，将微博平台的用户分成公众用户和草根用户两种类型。针对这种分类，设计出一种两级 DHT的系统结构。所有的公众用户构成第一级DHT的成员，所有的草根用户构成第二级DHT的成员，并以粉丝圈为基本单位，构成以第一级中公众用户为核心的粉丝圈集合，每个粉丝圈都是由一个公众用户和他的粉丝构成的。通过粉丝圈中的粉丝互助的方式，实现降低并发访问的目的。实验结果表明，基于两级 DHT的优化方法可以极大的降低突发事件发生时微博系统并发访问带来的网络带宽开销，并且降低网络时延，同时保持较高的系统稳定性和可用性。
　　随着在线社交网络用户的好友数量的不断增加，用户通过好友信息流平台获取好友动态信息的数据量也越来越大，在存储容量受到限制，特别是在线社交网络逐步向移动端发展的时候，对信息进行过滤显得尤为重要。研究表明，在线社交网络中用户的好友关系强度其实是随着时间变化的，大部分的好友关系在建立一个月之后几乎很少联系，用户对这些“陌生好友”的动态信息是不是全都感兴趣的。本文提出一种基于好友交互关系的信息存储优化方法，来解决移动社交网络环境下信息流平台中无效信息的过滤问题。提出一种可调节的计数型布隆滤波记录用户与好友之间交互关系强度，通过对好友交互关系强度进行划分，将信息流平台中的那些“极少交互”的好友动态信息过滤掉。实验结果表明，基于好友交互关系的信息存储优化方法可以有效过滤掉信息流平台中无效信息，极大地降低了信息流平台的存储开销，同时保持较高的过滤准确率。
　　综上所述，通过对在线社交网络中检索效率、并发控制和信息过滤等方面进行的性能优化研究，可以综合提高在线社交网络平台的服务器性能，提高用户的服务质量，对于在线社交网络的发展具有重大的研究与实践指导意义。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景

1.2 国内外研究现状

1.3 研究内容

1.4 论文组织结构

2 基于用户摘要索引的文本检索优化方法

2.1 研究背景

2.2 检索系统设计

2.3 基于好友关系的摘要索引

2.4 关键字内容检索排序模型

2.5 性能评测

2.6 本章小结

3 基于p2p的分布式微博并发访问优化方法

3.1 研究背景

3.2并发访问优化方法设计框架

3.3 基于p2p的数据结构设计

3.4 性能评测

3.5 本章小结

4 基于好友交互关系的信息存储优化方法

4.1 研究背景

4.2 信息存储优化方法的设计

4.3 交互关系摘要索引表

4.4 性能评测

4.5 本章小结

5 总结与展望

致谢

参考文献

附录1 缩略词简表

附录2 攻读博士学位期间发表的学术论文

附录3 攻读博士学位期间参与的主要科研项目

附录4 个人简历