海量数据迁移和报表自动生成的研究和实现

摘要

报表是企业管理的基本措施和途径，是企业的基本业务要求，也是实施 BI 战略的基础。报表可以帮助企业访问、格式化数据，并把数据信息以可靠和安全的方式呈现给使用者，深入洞察企业运营状况，是企业发展的强大驱动力。
　　 但是，在企业信息系统的开发过程中，往往由于市场环境的多变导致报表应用需求的多变，对报表的开发、维护成本一直很高，给企业信息系统的开发带来了困难。目前开发的大多数报表系统与企业应用平台及业务处理逻辑紧密相关，从而造成维护的工作复杂度高、可维护性差。报表数据的来源也常常缺少集中化管理，数据格式多种多关，如何从分散的数据里面提取出报表需要的信息就成为一个问题。另外业界众多流行的报表开发平台也不能很好地满足企业个性化要求。企业迫切需要易于开发、便于维护、适应多变的需求、便于移植以及容易与现有系统整合的用户可自定义的Web报表引擎。
　　 从上述背景出发，本文研究如何从海量数据分散的Lotus Notes文本数据库中提取报表所要需要的信息，如何设计轻量级的报表引擎，并在此基础上开发了适合于一般企业要求的轻量级Web报表自动生成系统――MassReporter。
　　 在本文中，我们首先分析了国内外各种Lotus Notes向关系数据库进行海量数据转移的技术和现有的报表引擎，根据企业的特定报表需求，提出了Lotus Notes的海量数据迁移和报表自动生成的整体方案。接着，识别并研究了该方案的关键问题：1）如何解决Lotus Notes分布式数据实时向关系型数据库的转移？2）如何融合Web报表系统验证机制和Lotus Domino验证机制，统一多个异构系统的用户权限管理？3）如何提高报表查询的速度？4）如何提高报表系统的易用性？5）如何解决海量数据的存储和备份，使其更快更高效地支持报表系统？
　　 在此基础上，本文从功能需求和非功能需求两个方面进行了轻量级Web报表自动生成系统――MassReporter的需求分析，并设计了系统架构。该系统由数据迁移子系统、Web报表生成子系统、权限认证子系统组成。接着分析了基于Lotus Notes的源数据库的结构，设计了基于DB2的目标数据库结构。然后着重对Web报表生成子系统及其关键模块（包括基础报表模板、报表数据检索器、报表生成器）进行了详细设计。
　　 目前MassReporter系统已通过功能测试和性能测试，在IBM进行了应用。初步实施表明，该系统实现了报表的集中管理，统一了企业内报表的风格、布局和操作，有效节省了客户需求沟通和开发人员报表维护所花的大量时间，达到了预期的目标。

目录

文摘

英文文摘

声明

1 绪 论

2 国内外研究现状及分析

3 关键问题及解决方案

4 系统的需求分析和架构设计

5 Web报表生成子系统的详细设计

6 系统测试和运行

7 总结与展望

参考文献

致 谢

攻读学位期间发表的学术论文