Web文本挖掘技术研究

第37卷第5期2000年5月计算机研究与发展J0URNAL 0F C0MPUTER RESEARC~g DEVEL0PMENT Vol.379No.5

May 2000原稿收到日期:1999-05-11;修改稿收到日期:2000-01-26.王继成9男91973年生9博士研究生9研究方向为信息检索与挖掘.潘金贵9男91952年生9教授9研究方向为中间件~agent 技术.张福炎9男91939年生9教授9博士生导师9研究方向为数字化图书馆~多媒体技术.

Web 文本挖掘技术研究

王继成潘金贵张福炎

(南京大学计算机科学与技术系南京210093D

(南京大学软件新技术国家重点实验室

南京210093D 摘要

作为从浩瀚的Web 信息资源中发现潜在的~有价值知识的一种有效技术9Web 挖掘正悄然兴起9倍受关

注.目前9Web 挖掘的研究正处于发展阶段9尚无统一的结论9需要国内外学者在理论上开展更多的讨论.同时9Web 挖掘系统的开发对其研究也将起到很大推进作用.首先探讨了Web 挖掘的有关理论9从Web 挖掘的定义~

Web 挖掘与Web 信息检索的关系~Web 挖掘任务的分类与功能等方面加以阐述.然后重点分析了Web 文本挖掘

的方法9包括:文本的特征表示~文本分类与文本聚类.在此基础上简单介绍了一个Web 文本挖掘系统原型Web-

Miner .WebMiner 采用了多agent 体系结构9将多维文本分析与文本挖掘这两种技术有机地结合起来9以帮助用户

快速~有效地挖掘Web 上的~TML 文档.

关键词Web 挖掘9文本挖掘9文本分类9文本聚类9多维文本分析

中图法分类号

TP 391;TP 393RESEARCH 0N WEB TEXT MINING

WANG Ji -Cheng 9PAN Jin -Gui 9and Z~ANG Fu -Yan

(D6Pc7tH6nt 0f C0HP/t67SCz6nC6cnC T6C n0l0gy 9Ncnjzng unz z 67s zty 9Ncnjzng 210093D

(Stct6K 6y L c b 07ct07y f07N0z 6l S0ft z c76T6C n0l0gy 9Ncnjzng unz z 67s zty 9Ncnjzng 210093D

Ab Stract With the f lood o f in f or m ation on the Web 9Web m ining i S a ne W re S ear c h i SS ue W hi c h

dra WS great intere S t f ro m m any c o mm unitie S .Currently 9there i S no agree m ent about Web m in-

ing yet .I t need S m ore di Sc u SS ion a m ong Sc ienti S t S in order to de f ine W hat it i S e x a c tly .Mean-

W hile 9the de v elo pm ent o f Web m ining S y S te m W ill p ro m ote it S re S ear c h in turn .I n thi S p a p er 9a

S y S te m i c di Sc u SS ion about the p rin c i p le o f Web m ining i S p re S ented 9in c luding the de f inition 9the

relation S hi p bet W een in f or m ation m ining and retrie v al on the Web 9the ta x ono m y and f un c tion .

Then the m ethod S o f te x t m ining on the Web are di Sc u SS ed in detail and a p rototy p e o f Web te x t

m ining S y S te m WebMiner i S introdu c ed .WebMiner i S a m ulti -agent S y S te m W hi c h c o m bine S te x t

m ining and m ulti -di m en S ion te x t analy S i S in order to hel p u S er in m ining ~TML do c u m ent S on the

Web e ff i c iently and e ff e c ti v ely .

K e y wordS

Web m ining 9te x t m ining 9te x t c ategori Z ation 9te x t c lu S tering 9m ulti -di m en S ion te x t

analy S i S 1引言

在Web 迅猛发展的同时9我们不能忽视 信息爆炸的问题9即信息极大丰富而知识相对匮乏.据估计9

Web 已经发展成为拥有3亿页面的分布式信息空间9而且这个数字仍以每4至6个月翻一倍的速度增加 1I .

415计算机研究与发展2OOO年

在这些大量~异质的Web信息资源中,蕴含着具有巨大潜在价值的知识.人们迫切需要能够从Web上快速~有效地发现资源和知识的工具.Web上的搜索引擎部分地解决了资源发现问题,但由于精确度不高等原因,其效果远不能使人满意.此外,搜索引擎的目的在于发现Web上的资源,就Web上的知识发现而言,即使检索精度再高,搜索引擎也不能够胜任.为此,我们需要开发比信息检索层次更高的新技术.为了从大量数据的集合中发现有效~新颖~有用~可理解的模式,数据库领域采用了数据挖掘技术[2].但是,数据挖掘的绝大部分工作所涉及的是结构化数据库,很少有处理Web上的异质~非结构化信息的工作.Web挖掘作为数据挖掘的一个新主题,引起了人们的极大兴趣.同时,它也是一个富于争议的研究方向.目前,对于Web挖掘的含义~功能等尚无统一的结论,需要国内外学者在理论上开展更多的讨论以进行精确地定义.此外,Web挖掘系统的开发对其研究也将起到很大推进作用.

在本文中,我们对Web挖掘技术作了系统性的研究.给出了Web挖掘的定义,讨论了Web挖掘与传统的数据挖掘以及Web信息检索之间的关系;对Web挖掘的任务进行了分类,重点讨论了Web文本挖掘和结构挖掘的功能;分析了Web文本挖掘的方法,包括文本的特征表示~文本分类和文本聚类.最后,简单介绍了我们设计的一个Web文档挖掘系统原型WebMiner.

2Web挖掘与Web信息检索

2.1Web挖掘的定义

Web挖掘是一项综合技术,涉及Web~数据挖掘~计算机语言学~信息学等多个领域.不同研究者从自身的领域出发,对Web挖掘的含义有着不同的理解,项目开发也各有其侧重点.例如,有些计算机语言学家认为,Web文档为自然语言理解提供了丰富的语料,可以从中自动地学习词语的意义,以进行词义辨析或确定词语所属的概念[B].我们从更为一般的角度出发,对Web挖掘作如下定义.

定义1.Web挖掘是指从大量Web文档的集合C中发现隐含的模式p.如果将C看作输入,将p看作输出,那么Web挖掘的过程就是从输入到输出的一个映射,C-p.

Web挖掘从数据挖掘发展而来,因此其定义与我们熟知的数据挖掘定义[2]相类似.但是,Web挖掘与传统的数据挖掘相比有许多独特之处.首先,Web挖掘的对象是大量~异质~分布的Web文档.我们认为,以

Web作为中间件对数据库进行挖掘,以及对Web服务器上的日志~用户信息等数据所开展的挖掘工作,仍属于传统的数据挖掘的范畴.其次,Web在逻辑上是一个由文档节点和超链构成的图,因此Web挖掘所得到的模式可能是关于Web内容的,也可能是关于Web结构的.此外,由于Web文档本身是半结构化或无结构的,且缺乏机器可理解的语义,而数据挖掘的对象局限于数据库中的结构化数据,并利用关系表格等存储结构来发现知识,因此有些数据挖掘技术并不适用于Web挖掘,即使可用也需要建立在对Web文档进行预处理的基础之上.这样,开发新的Web挖掘技术,以及对Web文档进行预处理以得到关于文档的特征表示,便成为Web挖掘研究的重点.

2.2Web信息检索的定义

定义2.Web信息检索,是指从大量Web文档的集合C中找到与给定的查询请求g相关的~恰当数目的文档子集S.Web信息检索的过程也对应于一个映射Z,(C,g)-S.

从6O年代以来,信息检索领域在索引模型~文档内容表示~匹配策略等方面取得了许多研究成果.这些成果被成功地应用在Web上,产生了搜索引擎,例如Yahoo1,Alta-vista等.搜索引擎工作的一般流程包括,使用Robot搜集Web文档~对文档集合建立倒排索引~分析用户的查询请求~匹配文档与查询请求以计算二者之间的相似度~对查询结果进行排序以及用户相关度回馈[4].

2.3Web上的挖掘与信息检索

Web上的挖掘和信息检索是两种不同的技术,其区别主要表现在以下几个方面.

(1)方法论不同.信息检索是目标驱动的,用户需要明确提出查询要求;而挖掘是机会主义的,其结果独立于用户的信息需求,也是用户所无法预知的;

(2)着眼点不同.信息检索着重于文档中显式存储的字词和链接;而挖掘试图更多地理解其内容和结构;

(3)目的不同.信息检索的目的在于帮助用户发现资源 即从大量文档中找到满足其查询请求的文档子集;而挖掘是为了揭示文档中隐含的知识;

(4)评价方法不同.信息检索使用精度(precision )和召回率(recall )来评价其性能 要求返回尽可能多的相关文档 同时不相关的文档尽可能少.而挖掘采用收益(gain )~置信度(certainty )~简洁性(simplicity )等来衡量所发现知识的有效性~可用性和可理解性;

(5)使用场合不同.有时信息检索系统返回太多的结果以致用户无法一一浏览 有时用户没有明确的信息需求 有时用户希望发现文档集合中所具有的结构~趋势~含义 在这些场合下 就需要使用挖掘技术.

尽管Web 挖掘是比信息检索层次更高的技术 但它并不是用来取代信息检索技术 二者是相辅相成的.一方面 这两种技术各有所长 有各自适用的场合;另一方面 我们可以利用Web 挖掘的研究成果来提高信息检索的精度和效率 改善检索结果的组织 使信息检索系统发展到一个新的水平.

3

Web 挖掘的任务3.1Web 挖掘任务的分类

在逻辑上 我们可以把Web 看作是位于物理网络之上的一个有向图G =(N E ) 其中节点集N 对应于Web 上的所有文档 而有向边集E 则对应于节点之间的超链.对节点集作进一步的划分 N ={N l N l }.所有的非叶节点N l 是HTML 文档 其中除了包含文本以外 还包含了标记以指定文档的属性和内部结构 或者嵌入了超链以表示文档间的结构关系.叶节点N l 可以是HTML 文档 也可以是其它格式的文档 例如Postscript 等文本文件 以及图形~音频等媒体文件.如图1所示.N 中每个节点都有一个URL 其中包含了关于该节点所位于的Web 站点和目录路径的结构信息.

Web 上信息的多样性决定了Web 挖掘任务的多样性.按照处理对象的不同 我们将Web 挖掘分为两大类,内容挖掘和结构挖掘.前者指的是从Web 文档的内容信息中抽取知识 而后者指的是从Web 文档的结构信息中推导知识.Web 内容挖掘又分为对文本文档(包括te t HTML 等格式)和多媒体文档(包括im-age audio video 等媒体类型)的挖掘.Web 结构挖掘不仅仅局限于文档之间的超链结构 还包括文档内部的结构~文档URL 中的目录路径结构等.如图2所示.在本文中 我们仅对Web 上的文本挖掘和结构挖掘加以

讨论 下文中提及的

文档 指的是文本文档 不包括多媒体文档.有关Web 上的多媒体挖掘 感兴趣的读者可以参见文献[5] 其中介绍了一个简单的Web 多媒体挖掘系统原型

.

图挖掘的分类

文本挖掘技术研究

615计算机研究与发展2OOO年

上的文档进行分类,这大大影响了索引的页面数目(Yahoo1索引的覆盖范围远远小于Alta-vista等搜索引擎).利用文本分类技术可以对大量文档进行快速~有效地自动分类.目前,文本分类的算法有很多种,比较常用的有TFIDF[7]和Naive Bayes[8]等方法.

文本聚类与分类的不同之处在于,聚类没有预先定义好的主题类别,它的目标是将文档集合分成若干个簇,要求同一簇内文档内容的相似度尽可能地大,而不同簇间的相似度尽可能地小.~earst等人的研究已经证明了聚类假设,即与用户查询相关的文档通常会聚类得比较靠近,而远离与用户查询不相关的文档[9].因此,我们可以利用文本聚类技术将搜索引擎的检索结果划分为若干个簇,用户只需要考虑那些相关的簇,大大缩小了所需要浏览的结果数量.目前,有多种文本聚类算法,大致可以分为两种类型,以G-~AC等算法为代表的层次凝聚法[1O],以k-means等算法为代表的平面划分法[11].文献[12]介绍了将G-~AC和k-means集合起来的Buckshot方法和Fractionation方法.

关联分析是指从文档集合中找出不同词语之间的关系.Brin提出了一种从大量文档中发现一对词语出现模式的算法,并用来在Web上寻找作者和书名的出现模式,从而发现了数千本在Amazon网站上找不到的新书籍[13].Wang等人以Web上的电影介绍作为测试文档,通过使用OEM模型从这些半结构化的页面中抽取词语项,进而得到一些关于电影名称~导演~演员~编剧的出现模式[14].

分布分析与趋势预测是指通过对Web文档的分析,得到特定数据在某个历史时刻的情况或将来的取值趋势.Feldman等人使用多种分布模型对路透社的两万多篇新闻进行了挖掘,得到主题~国家~组织~人~股票交易之间的相对分布,揭示了一些有趣的趋势[15].Wtthrich等人通过分析Web上出版的权威性经济文章,对每天的股票市场指数进行预测,取得了良好的效果[16].

需要说明的是,Web上的文本挖掘和通常的平面文本挖掘的功能和方法比较类似,但是,Web文档中的标记,例如