大数据及分布式存储在舆情监测系统中的应用

摘要

随着互联网技术的广泛普及以及Web2.0的爆发式增长,互联网不仅给人们的生活工作娱乐带来了便利,但互联网对社会舆论的影响也越来越大,使得网络舆论成为社会舆论的重要组成部分.而且最近网络舆论引起的群体事件、社会突发事件日益增多.同样伴随着微博、论坛、博客等网络应用的迅猛发展,网络舆情信息数据量越来越大,TB、PB级别的分布式存储变得越来越重要,而传统意义的文件系统已不能满足现有应用的海量数据存储、高扩展性、高性能、高可靠性、高可用性等需求,为满足这些新要求,因此本文基于分布式文件系统在舆情系统中的研究,旨在通过在网络环境下构建具有高性能、高可靠性、高可用性的分布式文件存储系统,通过网络数据流方式实现对海量文件系统中的数据进行存储和访问,解决大规模非结构化数据的存储、查询、高性能读取、高容错性等问题.本文阐述的主要内容如下:(1)分布式存储的相关技术以及分布式存储的数据模型;(2)分布式存储的架构和多节点的元数据问题;(3)元数据的管理、一致性、备份等.