JAVA基于网络爬虫搜索引擎设计和实现毕业论文

本科毕业论文题目：基于网络爬虫搜索引擎设计和实现毕业论文

系别：

专业：计算机科学与技术

班级：

学号：

姓名：刘德华

同组人：

指导教师：教师职称：协助指导教师：教师职称：

摘要

本文从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地住，提出了网络蜘蛛的功能和设计要求。在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。

关键字：爬虫、搜索引擎等

Abstract

The paper，discussing from the application of the search engine，searches the importance and function of Web spider in the search engine．and puts forward its demand of function and design．On the base of analyzing Web Spider’s system strtucture and working elements．this paper also researches the method and strategy of multithreading scheduler，Web page crawling and HTML parsing．And then．a program of web page crawling based on Java is applied and analyzed．

Keyword: spider, search engine

目录

摘要 (2)

Abstract (3)

一、项目背景 (5)

1.1搜索引擎现状分析 (5)

1.2课题开发背景 (6)

1.3网络爬虫的工作原理 (8)

二、系统开发工具和平台 (9)

2.1关于java语言 (9)

2.2 Jbuilder介绍 (10)

2.3 servlet的原理 (12)

三、系统总体设计 (14)

3.1系统总体结构 (14)

3.2系统类图 (14)

四、系统详细设计 (17)

4.1搜索引擎界面设计 (17)

4.2 servlet的实现 (19)

4.3网页的解析实现 (20)

4.3.1网页的分析 (20)

4.3.2网页的处理队列 (21)

4.3.3 搜索字符串的匹配 (22)

4.3.4网页分析类的实现 (22)

4.4网络爬虫的实现 (25)

五、系统测试 (33)

六、结论 (35)

致谢 (35)

参考文献 (36)

一、项目背景

1.1搜索引擎现状分析

互联网被普及前，人们查阅资料首先想到的便是拥有大量书籍的图书馆，而在当今很多人都会选择一种更方便、快捷、全面、准确的方式——互联网．如果说互联网是一个知识宝库，那么搜索引擎就是打开知识宝库的一把钥匙．搜索引擎是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术，用于帮助互联网用户查询信息的搜索工具．搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的．目前搜索引擎已经成为倍受网络用户关注的焦点，也成为计算机工业界和学术界争相研究、开发的对象．

目前较流行的搜索引擎已有Google, Yahoo, Info seek, baidu 等. 出于商业机密的考虑, 目前各个搜索引擎使用的Crawler 系统的技术内幕一般都不公开, 现有的文献也仅限于概要性介绍. 随着W eb 信息资源呈指数级增长及Web 信息资源动态变化, 传统的搜索引擎提供的信息检索服务已不能满足人们日益增长的对个性化服务的需要, 它们正面临着巨大的挑战. 以何种策略访问Web, 提高搜索效率, 成为近年来专业搜索引擎网络爬虫研究的主要问题之一。

1.2课题开发背景

目前虽然有很多种搜索引擎，但各种搜索引擎基本上由三个组成

部分：

(1)在互联网上采集信息的网页采集系统：网页采集系统主要使用一种工作在互联网上的采集信息的“网络蜘蛛”。“网络蜘蛛”实际上是一些基于web的程序，利用主页中的超文本链接遍历Web．利用能够从互联网上自动收集网页的“网络蜘蛛”程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集到网页数据库中。

(2)对采集到的信息进行索引并建立索引库的索引处理系统：索引处理系统对收集回来的网页进行分析，提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等)，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度(或重要性)，然后建立索引并存人到网页索引数据库中．索引数据库可以采用通用的大型数据库，如Oracle，Sybase等，也可以自己定义文件格式进行存放．为了保证索引数据库中的信息与Web内容的同步，索引数据库必须定时更新，更新频率决定了搜索结果的及时性．索引数据库的更新是通过启动“网络蜘蛛”对Web空间重新搜索来实现的．

(3)完成用户提交查询请求的网页检索器：网页检索器一般是一个在Web服务器上运行的服务器程序，它首先接收用户提交的查询条件，根据查询条件对索引库进行查找并将查询到的结果返回给用户．当用户使用搜索引擎查找信息时，网页检索器接收用户提交的关键词，由

搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页．有的搜索引擎系统综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排名越靠前．最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户．典型的搜索引擎系统如Google就是采用这种策略．

信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题．搜索引擎技术的研究，国外比中国要早近十年，从最早的Archie，到后来的Excite，以及ahvista、overture、google等搜索引擎面世，搜索引擎发展至今，已经有十几年的历史，而国内开始研究搜索引擎是在上世纪末本世纪初．在许多领域，都是国外的产品和技术一统天下，特别是当某种技术在国外研究多年而国内才开始的情况下．例如操作系统、字处理软件、浏览器等等，但搜索引擎却是个例外．虽然在国外搜索引擎技术早就开始研究，但在国内还是陆续涌现出优秀的搜索引擎，像百度、中搜等．

随着搜索引擎技术的成熟，它将成为获取信息、掌握知识的利器．但是现有的搜索引擎对于用户所提出的查询要求仅限于关键词的简单逻辑组合，搜索结果重视的是返回的数量而不是质量，在结果文档的组织和分类上也有所欠缺．国外的一次调查结果显示，约有71％的人对搜索的结果感到不同程度的失望．因此，如何提高搜索引擎的智能化程度，如何按照知识应用的需要来组织信息，使互联网不仅提供信息服务，而且能为用户提供知识服务，将成为计算机工业界和学

术界有待研究的方向。

1.3网络爬虫的工作原理

网络爬虫是搜索引擎的核心部分，其名称出自Spider 的意译, 具有相同词义的词语还有Crawler, robo ts, bot s, wanderer 等等.网络爬虫定义有广义和狭义之分, 狭义上的定义为利用标准的http 协议根据超级链接和Web 文档检索的方法遍历万维网信息空间的软件程序; 而广义则是所有能利用http 协议检索Web 文档的软件都称之为网络爬虫.网络爬虫是一个功能很强的自动提取网页的程序, 它为搜索引擎从万维网上下载网页, 是搜索引擎的重要组成. 它通过请求站点上的HTML 文档访问某一站点. 它遍历W eb 空间, 不断从一个站点移动到另一个站点, 自动建立索引, 并加入到网页数据库中. 网络爬虫进入某个超级文本时, 它利用HTML语言的标记结构来搜索信息及获取指向其他超级文本的U RL 地址, 可以完全不依赖用户干预实现网络上的自动“爬行”和搜索。

二、系统开发工具和平台

2.1关于java语言

Java语言是由Sun公司于1995年推出的一种新的编程语言，它是一种跨平台、适合于分布式计算环境的纯面向对象语言。Java语言及其扩展正在逐步成为互联网应用的规范，掀起了自PC机以来的又一次技术革命。一般认为，B语言导致了C语言的诞生、C语言演

变出C++语言，而Java语言则明显带有C++语言的特征。Java总是和C++联系在一起，而C++则是从C语言派生而来的，所以Java语言继承了这两种语言的大部分特性。Java的语法是从C继承的，Java 许多面向对象特性都受到C++的影响。事实上，Java中几个自定义的特性都来自于或可以追溯到它的这些前驱语言。略有不同的是，Java 语言完全面向对象，从而摒弃了二者的不足之处。Java语言的诞生与过去约30年中计算机语言的不断改进和发展密切相关。

Java是由James Gosling、Patrick Naughton、Chris Warth、Ed Frank 以及Mike Sheridan等人于1991年在Sun Microsystems公司设计出来的，开发第一个版本花了18个月时间。该语言最初名叫“Oak”，后来发现“Oak”已经是Sun公司另外一种语言的注册商标，于1995年更名为“Java”，即太平洋上一个盛产咖啡的岛屿的名字。从1992 的秋天Oak问世，到1995春天公开发布Java语言，许多人都对Java 的设计和改进做出了贡献。

自从于1995年被正式推出之后，Java语言就以其独特的优势迅猛发展，经过短短8、9年时间，成为迄今为止最为优秀的面向对象语言。Java也从当初的一种语言而逐渐形成一种产业，基于Java 语言的J2EE架构已成为微软.NET平台的强大竞争对手。当初，Java 语言最初的发布不亚于一场革命，但是它并不标志着Java快速革新时代的结束。在Java 1.0发布后不久，Java的设计者就已经制定出了Java 1.1、 Java 1.2、 Java 1.3、 Java 1.4 、Java 2、Java 2.1.4版。

作为当前一种被广泛使用的面向对象编程语言，Java具有多方面的特点。如果与其他众多的编程语言作一下比较，会发现这些特点正是Java语言之所以如此风靡的原因所在。虽然Java在某些方面（例如资源耗费）也存在一些不足，但这丝毫不影响Java作为目前最优秀面向对象编程语言的地位。 Java是一种被广泛使用的网络编程语言，这是一种新的计算概念。网络环境下的编程语言最需要解决的是可移植性和安全性问题。以字节方式进行编码，使得程序不受运行平台和环境的限制成为可能。Java语言还提供了丰富的类库，使程序设计人员可以很方便地调用相关类建立起自己的系统。Java作为一种高级程序设计语言，它除具有面向对象、编写简单、脱离机器结构、具有分布性、鲁棒性、可移植性、安全性特点外，并且提供了并发机制，解释执行具有很高的性能。

2.2 Jbuilder介绍

Java的开发工具中，最出名的莫过于Borland公司的JBuiIder 了。对于一些没有弄清楚开发工具与JDK的区别的Java入门者来说。JBuiIder就如同Visual c++之于c++，以为JBuiIder就是Java的全部。比起捆绑在服务器上销售的JDeveloper，JBuiIder应该是唯一的仅靠自身的实力而占领了大部分市场的Java商用开发工具了。Jbuilder的特点:：

1）Jbuilder支持最新的Java技术，包括Applets、JSP/Servlets、JavaBean以及EJB(Enterprise JavaBeans)的应用。

2）用户可以自动地生成基于后端数据库表的EJB Java类，Jbuilder同时还简化了EJB的自动部署功能.此外它还支持CORBA，相应的向导程序有助于用户全面地管理IDL(分布应用程序所必需的接口定义语言Interface Definition Language)和控制远程对象。

3）Jbuilder支持各种应用服务器。Jbuilder与Inprise Application Server紧密集成，同时支持WebLogic Server，支持EJB 1.1和EJB 2.0，可以快速开发J2EE的电子商务应用。

4）Jbuilder能用Servlet和JSP开发和调试动态Web 应用。

5）利用Jbuilder可创建(没有专有代码和标记)纯Java2应用。由于Jbuilder是用纯Java语言编写的，其代码不含任何专属代码和标记，它支持最新的Java标准。

6）Jbuilder拥有专业化的图形调试介面，支持远程调试和多线程调试，调试器支持各种JDK版本,包括J2ME/J2SE/J2EE。 JBuilder 环境开发程序方便，它是纯的Java 开发环境，适合企业的J2EE开发。

因此本次开发使用Jbuilder 2006.

2.3 servlet的原理

Servlet是指运行在服务器端的Java小程序。用于响应客户端的请求。在默认情况下，Servlet采用一种无状态的请求-响应处理方式。Servlet代码的主要作用是为了增强Java服务器端的功能，它运行在服务器端，用于接收并且处理浏览器客户端发出的请求，该

请求是通过配置文件web.xml的相关配置进行转发。也就是说Servlet是一个标准的Java类，它符合Java类的一般规则。和一般的Java类不同之处只是在于Servlet可以处理Http请求。

1.servlet是持久的。servlet只需Web服务器加载一次,后续又用到这个servlet，就不需要再加载。(所谓加载是指servlet加载进JVM运行)

2.servlet是与平台无关的。

3.servlet是可扩展的。

ActionServlet继承自javax.servlet.http.HttpServlet类，其在Struts framework中扮演的角色是中心控制器。它提供一个中心位置来处理全部的终端请求。控制器ActionServlet主要负责将HTTP 的客户请求

信息组装后，根据配置文件的指定描述，转发到适当的处理器Action。

Servlet的原理图描述如下：

浏览器

使用servlet有几个优点：

一是有效性，servlet的初始化代码仅在web服务器第一次加载时候执行一次，一旦加载了servlet，在处理一个新的请求的时候，只须调用一个新的服务方法。与处理每个请求都要全部加载一个完整的可执行程序相比，效率得以提高。

二是稳定性，servlet能够维护每个请求的状态，一旦加载了servlet，她就驻留在内存中，对收到的请求提供服务。

三是可移植性，servlet是用java开发的，因此它是可移植的，这种可移植性使servlet能够移植到新的操作系统中而不必改变代码。

四是安全性，servlet在服务器端运行，因此，安全性由web服务器提供能保障，servlet也能够利用java Security Manager提供的安全性功能。

三、系统总体设计

3.1系统总体结构

搜索界面

servlet处理模块

调用

spider 调用

页面解析

调用

信息返回

3.2系统类图

1)servlet结构

2）网络爬虫结构

3）页面解析结构

3.3搜索策略

网络爬虫在搜索时往往采用一定的搜索策略。

一是宽度或深度优先搜索策略：搜索引擎所用的第一代网络爬虫主要是基于传统的图算法, 如宽度优先或深度优先算法来索引整个Web, 一个核心的U RL 集被用来作为一个种子集合, 这种算法递归的跟踪超链接到其它页面, 而通常不管页面的内容, 因为最终的目标是这种跟踪能覆盖整个W eb. 这种策略通常用在通用搜索引擎中,因为通用搜索引擎获得的网页越多越好, 没有特定的要求.

二是宽度优先搜索算法(又称广度优先搜索) 是最简便的图的搜索算法之一, 这一算法也是很多重要的图的算法的原型.单源最短路径算法和P rim 最小生成树算法都采用了和宽度优先搜索类似的思想.宽度优先搜索算法是沿着树的宽度遍历树的节点, 如果发现目标, 则算法中止. 该算法的设计和实现相对简单, 属于盲目搜索. 在目前为覆盖尽可能多的网页, 一般使用宽度优先搜索方法. 也有很多研究将宽度优先搜索策略应用于聚焦爬虫中. 其基本思想是认为与初始U RL 在一定链接距离内的网页具有主题相关性的概率很大. 另外一种方法是将宽度优先搜索与网页过滤技术结合使用, 先用广度优先策略抓取网页, 再将其中无关的网页过滤掉. 这些方法的缺点在于, 随着抓取网页的增多, 大量的无关网页将被下载并过滤, 算法的效率将变低。

三是深度优先搜索所遵循的搜索策略是尽可能“深”地搜索图. 在深度优先搜索中, 对于最新发现的顶点, 如果它还有以此为起点而

未探测到的边, 就沿此边继续汉下去. 当结点v 的所有边都己被探寻过, 搜索将回溯到发现结点v 有那条边的始结点. 这一过程一直进行到已发现从源结点可达的所有结点为止. 如果还存在未被发现的结点, 则选择其中一个作为源结点并重复以上过程, 整个进程反复进行直到所有结点都被发现为止. 深度优先在很多情况下会导致爬虫的陷入( t rapped) 问题, 所以它既不是完备的, 也不是最优的。

四、系统详细设计

4.1搜索引擎界面设计

4.1.1界面设计实现

设计界面如下：

4.1.2设计代码分析

搜索内容

4.2 servlet的实现

用Servlet来响应用户的请求，实现搜索参数的传入。具体代码设计为：

package crawer;

import javax.servlet.*;

import javax.servlet.http.*;

import java.io.*;

import java.util.*;

import https://www.360docs.net/doc/7c17507296.html,.*;

public class MyServlet extends HttpServlet {

private static final String CONTENT_TYPE = "text/html; charset=GBK";

public Timer timer;

myspider crawler ;

ArrayList< String> myresult;//搜索到的结果

//Initialize global variables

public void init() throws ServletException {

}

//Process the HTTP Get request

public void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {

String var0 = request.getParameter("param0");

if (var0 == null) {

var0 = "";

}

response.setContentType(CONTENT_TYPE);

PrintWriter out = response.getWriter();

byte[] bytes=var0.getBytes("ISO-8859-1");

String search=new String(bytes,"GB2312");

crawler = new myspider("https://www.360docs.net/doc/7c17507296.html,",10,search);

//Thread search=new Thread(crawler);

// search.start();

//此处开始爬行

crawler.run();

//启动定时器，在时间内检查是否有结果，并显示

myresult=new ArrayList< String>(); //搜索到的结果

myresult=crawler.getResult();

out.println("");

out.println("");

out.println("

注意默认起始站点为：https://www.360docs.net/doc/7c17507296.html,，层数为10

");

out.println("

搜索"+search+"结果:

");

out.println("");

String te;

for(int i=0;i

te=String.valueOf(i+1);

out.println("

"+te+"、"+myresult.get(i)+"

");//输出结果

}

if(myresult.size()==0){

out.println("

对不起,没有找到结果

");

}

out.println("");

out.println("");

out.close();

}

//Clean up resources

public void destroy() {

}

}

4.3网页的解析实现

4.3.1网页的分析

网页文档作为一种半结构化文本是一种界于自由文本和结构化文本之间的数据，它通常没有严格的格式。对于这类文本一般是通过分析文本中特有的标志性字符进行爬行处理，具体而言就是分析HTML 语言中的各种标记之间的关系。网页信息的载体是网页文本，用超文本标记语言编写。由HTML标准定义了一组元素类型，不同类型的元素分别描述文本、图像和超文本链接等。一个元素的描述一般由开始标记(Start Tag)、内容(Content)、结束标记(End Tag)所组成。元素名称出现在开始标记中，在HTML语言中标记为<元素名称>，对应的结束标记为<／元素名称>，内容出现在开始标记和结束标记之间。通过构造网页标记树的方法可反映网页的结构特点，下图是一个简单