弱点信息搜索引擎的研究和设计

摘要

随着网络技术的迅速发展和广泛应用，网络安全问题也显得越来越来突出。黑客的入侵，病毒和蠕虫的攻击等等，都给社会带来了巨大的灾难和损失。网络安全问题已成为信息时代人类共同面临的挑战。 安全事件的发生常常是因为攻击者利用了系统本身的弱点，因此只有不断提高系统自身的健壮性和牢固性才能够做到防范于未然，必须能够及时有效的获得最新的弱点信息，才能对系统不断地进行升级和修补漏洞。同时，通过对各种弱点信息的分析和研究，也可以从中分析软件设计和开发过程的问题，帮助我们设计出更安全、可靠的软件和系统。 当前，最新的弱点信息都在官方或民间组织的网站上通过一定的格式进行公布，利用搜索引擎技术可以帮助我们在浩瀚的互联网中获取弱点信息；传统的搜索引擎技术基本是通用搜索引擎技术，很难准确的搜索到我们想要的特定安全领域的弱点信息，因此，研究和实现一种面向安全领域的主题搜索引擎技术具有十分重要的现实意义。 本论文在对大量的弱点信息技术和搜索引擎技术研究的基础上，设计了一种弱点信息主题搜索引擎，使得用户能够及时有效的从互联网中获得最新的弱点信息，同时，对部分设计进行了技术实现。主要完成的工作有： 1.研究分析了通用搜索引擎和主题搜索引擎技术。在此基础上提出并设计了一种面向安全领域的弱点信息主题搜索引擎。 2.在普通网络机器人技术的基础上设计了一种主题机器人，采用向量空间模型算法和改进的超链接分析算法来保证机器人采集信息的主题相关性。同时，分析了网页内容和网页链接的提取方法，以及机器人采集应注意的一些问题。 3.研究分析了弱点的分级和分类，并设计了一种弱点数据库用于存放弱点信息。

目录

文摘

英文文摘

独创性声明及关于论文使用授权的说明

第1章绪论

1.1网络安全现状

1.2弱点信息与弱点数据库

1.2.1弱点信息的描述

1.2.2国内外研究现状

1.3面向特定领域的搜索技术

1.4研究内容及意义

1.5本章小结

第2章搜索引擎技术研究

2.1搜索引擎概述

2.2通用搜索引擎

2.2.1通用搜索引擎工作原理

2.2.2通用搜索引擎分类

2.2.3通用搜索引擎存在的问题

2.2.4通用搜索引擎发展趋势

2.3主题搜索引擎

2.3.1主题搜索引擎产生背景

2.3.2主题搜索引擎工作原理

2 3.3主题搜索引擎研究现状

2.4本章小结

第3章弱点信息搜索引擎总体设计

3.1系统目标

3.2设计思想和策略

3.2.1搜索策略选择

3.2.2弱点信息识别方式

3.3系统架构

3.4可行性分析

3.5开发环境

3.6本章小结

第4章弱点信息采集

4.1网络机器人技术

4.2主题机器人

4.3链接队列的数据结构

4.4初始化种子链接

4.5网页纯文本提取

4.5.1网页的结构分析

4.5.2网页控制符分析

4.5.3提取文本

4.6网页内容分析

4.6.1分析方式

4.6.2匹配算法

4.6.3相关度计算

4.7网页链接提取

4.8网页链接分析

4.8.1现有算法

4.8.2改进算法

4.9注意的问题

4.9.1搜索程序专用协议

4.9.2避免网络陷阱

4.9.3避免锤打

4.10本章小结

第5章弱点信息存储

5.1临时数据库

5.2弱点数据库

5.2.1弱点的分级

5.2.2弱点的分类

5.2.3主要实现

5.3索引数据库

5.3.1正排表和倒排表

5.3.2双向索引

5.4数据库的更新

5.5本章小结

第6章弱点信息检索

6.1信息检索模型

6.1.1布尔逻辑模型

6.1.2向量空间模型

6.1.3概率论模型

6.2信息检索流程

6.2.1提交查询

6.2.2专业词典

6.2.3相关度排序

6.2.4结果显示

6.3本章小结

结论

参考文献

致谢