大型网站文件系统下载技术和离线浏览器的设计与实现

摘要

随著宽带网络建设与业务的普及，下载大型网站成为可能。但是现有的软件在下载的网站容量超过数百MB时，往往不能很好执行。本文借鉴已有的离线浏览器如：Webzip，Teleport pro等，开发了新的离线浏览软件WebSeizer。其优点在于很好地解决了网页解析、JavaScript、Cookie、多线程下载、线程同步、异常处理、数据库管理等问题，速度快，效率高，适应性好，界面直观，操作简便。尤其在网站容量较大时，下载效果良好。目前通过测试的网站容量达到数个GB，文件数量达到10万个以上。不仅提供新建、保存、载入、运行等基本功能，而且能多线程下载，并能断点续传，而且提供了文件更新功能和在线升级功能，让用户能及时得到最新版本的软件。