基于云计算平台的经分系统的研究与实现--技术方案

中国移动通信有限公司研究院 基于“云”计算平台的经营情报分析系统 （经营情报分析） 技术方案
1

基于“云”计算平台的经营情报分析系统的技术方案 1 概述
1.1 背景
基于“云”计算平台的经营分析系统主要是探讨和利用云计算技术在经分系 统中解决目前面临的主要问题，以及利用云计算优势解决经分系统中新的需求。 其中，将互联网搜索技术应用于经分系统中，可以丰富经分数据源，为经分提供 更好的支撑。同时，从技术上弥补 BC-SE 中垂直搜索部分。 基于互联网文本信息搜索引擎项目成果，结合经分应用需求，调整系统架构 设计，研发新的关键技术，实现如下系统： 情报分析、搜索子系统 经分内容搜索子系统 互联网情报分析子系统 整个系统内容如图 1 所示，其中蓝色覆盖（情报分析）为本次招议标范围。
图 1. 经营情报分析系统示意图
2

1.2 项目目标
通过网页采集模块对网页进行采集并分析，提供采集数据的结构化输出，同 时实现索引、检索，以及前台展示。
1.3 要求的内容模块
（1）网页采集与分析模块
模块名 称 输入 互 联 网 静 态、 动 态 网 页 的 种 子 列表 模 板 数据 输出 通过种 子 URL 采集下 来的网 页信息 关键技术 Web2.0 网 页（论坛 等）采集 技术 采集控制 技术 关键技术说明 完善网页采集技术，达到 性能指标 功能说明 深网数据采集（隐藏在 网页后面数据库内容采 集） ；Html 等网页的无 结构化处理；网页内容 的翻页问题；网页的多 版本存储 根据网页的类型，利用 抽取知识库，对目标网 站网页信息进行抽取得 到高质量的结构化数据
网 页 采 集 模 块
深度搜索层数、网站搜索 列表、增量采集等 要高效地实现针对不同 的网页选择不同的模板 进行分析 定义不同抽取模板；针对 电话信息和黄页信息的 不同文本特征分别处理。 识别和清除网页内的噪 音内容（如广告、版权信 息等） ，并提取网页的主 题以及和主题相关的内 容 根据内容得到一定的权 值，进行权值比较，内容 相似度高进行去重和过 滤处 能够识别图片、视频、音 频等文件 支持编码和字符集自动 识别，如 GBK、UTF-8 等 支持中文多重分词
模 板 管 理 模 块
各 种 网 模板管理 页采集、 技术 分析模 板 基于模板 的信息抽 取技术 经过净 化、除 重、 编码 识别、 指 纹生成 后的快 照文件 网页净化 技术
网 页 分 析 模 块
包 含 各 种 mime 类 型 结 构 化/半 结 构 化 网 页 信 息
网页去重 技术
识别非文 本文件 编码识别 技术 中文分词 技术
识别和清除网页内的噪 音内容（如广告、版权 信息等） 并提取网页的 ， 主题以及和主题相关的 内容，包括网页标识、 网页类型、内容类别、 标题、关键词、摘要、 正文、 相关链接等信息。 去除所抓取网页集合中 主题内容重复的网页。 去重的级别：镜像站点 （根据站点内相似页面 多少进行判断） 完全相 ； 同网页和部分相同网 页。对每个网页通过一 定算法，生成 Docid 作 为唯一标识。
3

（2）并行索引模块
模块名 称 输入 本地原 始压缩 文件库 或者快 照文件 库 输出 倒排索 引文件 库 关键技术 中文分词技术 实时索引技术 关键技术说明 支持中文多重分词 针对快速变化的索引，实 现索引的增删改查 加载索引（压缩后）时间+ 解压缩时间< 加载索引 （压缩前）时间 对网页多个字段进行索引 功能说明 支持中文多重分 词，有效地维护搜 索引擎词库。能够 对网页记录的多 个字段进行索引。 实现索引压缩技 术
并 行 索 引 模 块
索引压缩技术
对网页多字段的 索引功能
（3）分布式检索模块和前台展示模块
模块名 称
输入 用 索 倒 引 库 户 需 排 文 检 求 索 件
输出 结 果 集；用 户查询 日志
关键技术 关键字检 索技术 缩略词检 索技术 分类检索
关键技术说明 输入关键词，进行检索 用户输入缩略词，比如“工 行” ，可以返回中国工商银行 的相关结果 按照不同类别进行分类检索 提供查询词的“与、或、非” 操作 根据中文信息分析出文本的 语义相关性，查询网页相似度 高排序靠前。 实现服务器端缓存管理功能 对检索的结果按照一定要求 进行聚类 自动发现并纠正查询词中的 拼写错误（错别字） 提供查询结果的网页快照 针对电话、手机的结构化信息 进行补全，需要满足实时更新 的存取要求
功能说明 实现分布式检索的架 构， 根据一定算法实现 关键字检索， 不断优化 排序结果 （实现技术包 括相似度排序， 适合于 垂直搜索的功能） 。对 排序结果进行纠错和 聚类操作。 对常用词的 查询结果进行缓存。 针 对论坛回复热度等优 化检索结果。
分 布 式 检 索 模 块
查询语法 分析技术 相似度排 序技术 缓存管理 查询结果 聚类技术 查询结果 纠错技术 结果集 查询结 果页面 用户查 询日志 网页快照 技术 结构化知 识补全技 术
前 台 展 示 模 块
根据返回的检索结果 设计友好的用户界面， 实现网页快照和分页 快速浏览技术， 对查询 词进行语法着色
4

1.4 系统架构
整个系统是运行在由 Hadoop 环境下，即在 Shared-Nothing 的集群环境下， 部署 Hadoop 平台， 在其上开发相关网页信息收集和分析工具， 实现网页统一采集、 分析、索引，系统搜索服务。系统的架构如图 2 所示。
图 2. 系统架构图
1.5 开发环境
实现语言 Java/C++ 操作系统 Linux RH EL5.4 CentOS 5.4
1.6 系统指标
基于 BC-SE 的情报分析、搜索系统应在招标人提供的云计算平台上平稳运行， 并达到以下指标：
5

a) 加速比 b) 空间复杂度
加速比与节点数相当，加速比=串行处理时延/并行处理 时延，通过要求尝试不同方法，选择加速比高的方法 空间复杂度，要求在我们硬件空间条件（每个节点内存 8G）下，在较短时间内完成 1、情报分析 网页采集单机每小时 2G 字节；
系统性能 c) 搜 索 引 擎 性 能 指标
网页内容特征提取正确率 90%以上； 单机索引速度每小时 250M； 词语切分正确率 90%以上； 词性分析正确率 90%以上； 索引膨胀率低于 0.5； 检索速度 G 级数据毫秒级响应（平均响应时间低于 300ms,Cache 命中的网页响应时间低于 100ms） ； a) 性能扩展性 节点数线性增加，加速比随之增加 以 API 封装搜索引擎系统各功能模块，提供所有算法可 配置接口及并行任务监控、调度接口 搜索引擎算法预留扩展接口，可进行二次开发
系统可 扩展性
b) 框架扩展性 c) 算法扩展性
2 系统的总体架构
在用户给出的技术架构基础上，进一步细化得到如图 3 所示的系统总体架构。
6

网页采集 基于 URL 下载 网页更新 检测 整体网页 存储 网页超链 接分析 深网数据 爬取 网页 URL 维护 网页格式 分析 基于框架 解析
模板管理 网页框架 提取 网页信息 结构化 网页模板 生成 网页模板 维护 网页内容 净化 网页特征 维护
网页分析 网页去重 处理 网页特征 提取 网页文本 预处理 网页文本 挖掘
网页 URL 库
整体 网页库
网页 模板库
结构化 网页库
搜索 结果库
文本 特征库
词典与 知识库
结构 索引库
倒排 索引库
文本挖掘 结果库
前台展示 用户要求 接受 深网数据 展示 检索模块 调用 网页快照 展示 结构化 信息补全 网页结构 展示 查询条件 分析 关键字 分析
分布式检索 结构化 查询 相似性 计算 结果 排序 网页文本 搜索 网页库 索引建立 存储策略 优化
并行索引 索引结果 存储 索引策略 优化 文本倒排 索引建立 索引结果 维护
JobTracker Fsimage&cditslog
NameNode
Secondary NameNode Fsimage&cditslog Fsimage&cditslog
DataNode& TaskTracker
DataNode& TaskTracker DataNode& TaskTracker DataNode& TaskTracker DataNode& TaskTracker
……
DataNode& TaskTracker
图 3. 系统的总体技术架构
3 网页采集和分析技术方案
3.1 网页采集
网络采集器是通过网页的链接地址来寻找网页，从网站某一个页面（通常是种 子 URL）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些 链接地址寻找下一个网页，这样一直循环下去，直到满足采集结束条件。这一过 程如图 4 所示。
7

图 4. 简易爬虫的工作流程 采集的结果，一方面用获得的网页对整体网页库进行更新，另一方面用新获 得的 URL 对网页 URL 库进行更新。 由于深网数据采集部分相对比较独立，且实现较复杂，因此在第四节讨论。 数据采集控制技术包括采集策略、搜索层深控制和增量采集技术。 （1）采集策略 广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页， 然后再选择其中 的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因 为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。深度优先是指网络蜘蛛 会从起始页开始，逐个链接跟踪下去，处理完这条线路之后再转入下一个起始页， 继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。 （2）深度搜索层数控制
8

在 URL 队列管理模块中，应该对 URL 加上层次、类型这样几个属性。类型用 于区别种子 URL 和非种子 URL；层次用于控制爬虫抓取的深度。对于在第 N 层 的 URL 爬取的网页中，所抽取出来的未被爬取过的 URL 的层次则为 N+1。当设 置了采集层次限制后，对于达到限制的 URL 则不再加入 URL 队列。 （3）增量采集 通过 URL 队列的管理模块，保存当前的 URL 队列，添加新的种子 URL，能 够实现增量采集。
3.2 网页模板管理
网页解析的过程与网页生成的过程是一对互逆的过程。 动态网页运行过程可以 简化为向网页模板添加数据的过程。网页模板由网站的网页设计师设计完成。动 态网页的数据可以由用户进行填充，也可以由网站提供数据源。比如，人们生活 中常常接触的博客网站提供的服务，就是让博客作者往博客模板中填写文本，或 者添加图片等等内容。而我们所使用过的搜索引擎所返回的搜索结果页面则是由 网站运营商提供数据源。我们输入查询关键字，搜索引擎进行检索和排序，然后 把搜索结果填充到网页模板中，最后反馈显示在用户的浏览器上。 通过上述分析，如果我们能够获取网页对应的模板，就可以快速、精确的解析 网页中所包含的有效数据。而事实上，网站运营商不能免费提供他们所使用的网 页模板。而且在浩瀚的互联网中，不同网站下的网页基本使用不同的模板，甚至 同一个网站下的不同部门之间所使用的模板也不尽相同。 基于网页模板的网页分析主要的关键技术点有以下几点： （1） （2） 网页模板建模； 生成网页模板。
我们针对本部分的关键技术点制定了拟采取的研究方案。
3.2.1
网页模板建模
网页模板：通用的网页模板应该包含模板标识、Tag Tree、HTML 结构特征、 关键抽取规则等部分。 拟采用的网页模板建模方案如图 5 所示。
9

模板标识 : Tag Tree : html head title table
...
body border table align tr th td th tr td
HTML结构信息 : 抽取规则 : 图 5. 网页模板拟采取的建模方案 （1）模板标识 模板标识用于唯一地标识网页模板库中的一个网页模板。 一般来说一个网页模板可以对应多个网页实例。而每张网页对应的 URL 地址 也是唯一的。因此我们可以使用一个网页模板对应的多个网页实例的 URL 最长公 共子段作为该模板的标识。 在网页采集和分析的过程中， 我们在初始状态时并不能得到网页实例与网页模 板之间的对应关系。相应的解决方案是，通过对已下载的 URL 列表进行排序，把 URL 地址相似的网页划分为组，然后每组网页就对应到一个网页模板，而网页模 板的标识就可以使用 URL 地址最长公共子段。 例如：如下 4 个网易博客 URL
https://www.360docs.net/doc/3d18519368.html,/blog/static/1300124312010629115538280/?formlife； https://www.360docs.net/doc/3d18519368.html,/blog/static/395116912010629112632382/?formlife； https://www.360docs.net/doc/3d18519368.html,/blog/static/75212768201031034528192/； https://www.360docs.net/doc/3d18519368.html,/blog/static/160299320071061738284/；
通过对这 4 个 URL 的分析， 我们可以用“https://www.360docs.net/doc/3d18519368.html,/blog”作为这一组网页对
10

应的网页模板的标识。 （2）Tag Tree Tag Tree 是一种用于对网页模板建模的树形数据结构。Tag Tree 是 DOM Tree 的一种修改模型。可以利用 XPath 算法读取 Tag Tree 对应的 HTML 块中对应的数 据。 DOM(Document Object Model 文档对象模型)是万维网联盟(W3C)指定的标准 接口规范。DOM 是 HTML 与 XML 的应用编程接口(API)，DOM 将整个页面映射 为一个由层次结点组成的文件。使用 DOM Tree 来对 HTML 文件进行建模，便于 解析 HTML 文件所包含的数据。对 HTML 文件中数据的提取，就转化为对 DOM Tree 种相应结点的读取。
图 6 一段 HTML 代码及其在 IE5.0 中的显示效果
图 7 一段 HTML 代码所对应 DOM Tree
11

图 8 一段 HTML 代码所对应 Tag Tree 在网页模板中需要保存的是结构相似的网页的框架信息，即只含有 HTML 标 签的 Tag Tree。Tag Tree 与 DOM Tree 的主要区别在于前者不包含文本结点。 图 6~图 8 给出了一段 HTML 代码及其在 IE 中的显示效果、对应的 DOM Tree 及 Tag Tree。 对于符合 XHTML 规范的 HTML 文档，生成 DOM Tree 与 Tag Tree 的算法并 不复杂， 可采用深度遍历的方式建树。 而对于不符合 XHTML 规范的 HTML 文档， 则需要先对其进行缺失 HTML tag 的填充。 例如，在上述的 HTML 代码段中，如果

3 种标签没有相应的关 闭标签，即，并不影响其在浏览器中的显示效果。但是对于含有 类似的缺失关闭标签，或者包含部分不需要关闭的标签(如

)的 HTML 代码 则不能直接使用 Tag Tree 算法进行建树。 （3）HTML 结构特征 HTML 结构特征主要用于描述网页模板的结构特征，产生网页模板的抽取规 则。 HTML 结构特征是根据网页模板的 Tag Tree 以及网页实例的 DOM Tree 的相似 度产生的。分为两种结构特征：1) 对于一个网页模板，Tag Tree 中频繁出现的相 同的子树和节点；2) 对于多个网页实例，DOM Tree 中频繁出现的相同的子树和 节点。图 9 中，黄色（A） 、绿色（B）节点分别表示一个网页模板中频繁出现的相 同节点；灰色节点表示两个网页实例 DOM Tree 的相同子树。 子树和节点相同的判别标准是 HTML 标签的名称、ID、CLASS 这 3 项完全相 同。
12

A 11
B 11
A 21
A 22
B 21
B 22
A 31
A 32
A 33
A 34
A 35
A 36
B 31
B 32
B 33
B 34
B 35
B 36
B 37
A 41
A 42
A 43
A 44
B 41
B 42
B 43
图 9 一个网页模板对应的两个网页实例
（4）关键抽取规则 基于网页模板的网页信息抽取的主要思想在于， 通过分析具有相似网页实例结 构，形成网页模板，然后比较分析 Tag Tree 和结构信息，用统计分析和归纳式学 习方法生成抽取规则。 抽取规则有两种主要的表现形式，一种采用正则表达式，另外一种采用路径表 达式。其中后者更容易与用户进行反馈性的交互。
3.2.2
生成网页模板
生成网页模板的方式基本有三类：人工分析方式、半自动化、全自动化。其中 人工分析和半自动化生成方式都需要花费一定量的人力资源，不适合海量网页的 模板生成需求。但是在需要精确提取网页部分信息时，人工的参与是准确度的最 好保证。而全自动化的生成模板只适合于粗粒度的信息提取，它的优势在于没有 数据量级别的限制。 半自动化形式 由程序对 HTML 代码进行树状结构化，并且设置代码块与内容块之间映射关 系。用于根据内容与代码之间的映射关系，添加抽取规则。 全自动化形式 首先对相似 URL 进行分组，然后把组内的网页生成 Tag Tree，通过 Tag Trees 抽取模板 Tag Tree。分析网页 Tag Trees 和模板 Tag Tree 得到 HTML 结构化信息。 使用基于统计的方法找出 Tag Tree 中权重比较大的节点，同时使用关键字、标题 对网页正文划分可能的所在区域，最后生成抽取规则。 拟采取的模板生成方案如图 10 所示。
13

图 10. 拟采取的模板生成方案
3.2.3
管理网页模板
模板管理模块要高效地实现针对不同的网页选择不同的模板进行分析。 模板库的存储 由于网页模板 Tag Tree 具有树状数据结构特点， 适合采用 XML 文件的方式进行存 储。所以可以采用 XML 数据库的方式保持模板库。 模板检索 通过网页 URL 进行模板检索所属的网页模板。 模板的添加和修改 当一些网页与其他网页都不相似的时候，可以先保存为未完全状态的网页模 板。直到有一组相似网页时，再修改网页模板达到完成状态。 网页模板的生成与管理过程实际上也是无结构、半结构网页信息结构化的过 程，网页信息结构化的结果存储于结构化网页库中。
3.3
3.3.1
网页分析
网页净化技术
主要目的是识别和清除网页内的噪音内容，如广告、版权信息等。 按照类别， 可以将噪音内容分为导航类、修饰类、交互类和其他类等。通常情况下，网页的 内容是有一定布局的，通过对网页 HTML 语言的解析，分析出网页的结构，并通 过制定规则去除不相关的内容信息。 通过训练分类器， 本项目对提取出来的征文内容与广告和版权信息的进行分类 判断。利用标注好的训练数据集，采用适当的特征选择算法，使用支持向量机 （SVM）和朴素贝叶斯（Na?ve Bayes）等方法对网页内容进行分类，从而区分出 正文文本和广告等信息。
14

3.3.2
网页指纹生成
网页的指纹信息通常是指将一个网页净化后进行分词而得到的一组关键词或 一个句子，可以是关键字、词、句子或者段落及其在网页里面的权重等，再将这 些信息进行加密（如 md5）从而得到的一个字符串，这个字符串和人的指纹一样 的具有独特性，每个网页的信息指纹都不一样。 网页在进行净化时会把网页中的导航，版权，LOGO 等信息过滤，然后再对剩 下的文本内容进行分段签名，形成多个信息指纹。信息指纹主要用于对于两个页 面的相似程度进行比较，判断一个网页是否是复制而来，如果两个网页，他们有 多个信息指纹是相同的，那么就会被认为是相似页面，从而降低网页的权重。 有两种主要的指纹生成算法： 分段签名算法 按照一定的规则把网页切成 N 段，对每一段进行签名。这种算法不适合对海 量网页进行签名。 基于关键字的签名算法 通过关键词、元数据描述(meta description)或者小段与查询关键字相关的文字 进行 MD5 加密，生成对应网页的签名。
3.3.3
网页去重技术
网页的重复主要来自转载。网页转载非常容易。由于用户兴趣的驱动,网络信 息流通中人们通过复制方式进行信息共享,经典的文章,以及新闻网页,很容易引起 人们的关注,有时转载竟高达几十次之多。本项目通过网页净化技术，可以以较高 的准确率得到相关网页的正文内容，并根据正文内容以及文本内部句子的结构信 息，计算网页的一组网页指纹信息。当两个网页的相同指纹个数超过一定的阈值 时，则认为其中一个网页的内容是重复的。
3.3.4
网页信息分析
网页标识
一个网页对应一个 URL，因此可以使用 URL 作为网页的唯一标识。 网页类型 网页类型主要有 3 类：1) 主题网页；2) 导航网页；3) 多媒体网页。其中主题 网页是指网页中通过文字描述了一件或者多件与主题(topic)相关的事件。 常见的主
15

题类型网页有博客网页、新闻网页等。导航网页是指专门用来提供网页导向的网 页，其中含有大量的超链接，指向本站或者其他站点的网页。常见的导航网页有 各大门户网站首页、黄页网站等。多媒体网页是指网页中包含音乐、图片等非文 本的多媒体信息。常见的多媒体网页有各大视频网站、图片搜索网站。 3 种网页类型中导航类型网页中包含大量的超链接信息，多媒体类型网页包含 大量的多媒体信息。 所以我们可以通过 Tag Tree 中超链接标签()、 多媒体标签(图 片、插入多媒体、背景音乐)的比例来判断网页的类型。 标题、关键字 网页的标题和关键字主要通过分析网页 HTML 代码部分的标签对应的 元数据获得。 网页正文 这部分信息是网页中最重要的信息，通过选择网页模板，抽取规则进行提取。
3.3.5
识别非文本文件
对于多媒体类型的网页，主要通过对网页结构的解析，以及网页中子文件扩展 名的分析，来判断网页中存在的图片、视频、音频等文件。
3.3.6
编码识别技术
对于包含编码信息的网页，只需要抽取 HTTP 头的 content-type 属性、页面的 charset 属性，即可识别网页的编码格式。 对于不包含编码信息的网页，则需要使用程序实现自动猜测页面使用的字符 集。具体的原理是基于统计学的字符特征分析，统计最常见的字符
3.3.7
中文分词技术
本项目拟采用中科院开发的 ICTCLAS 分词工具。 ICTCLAS 在国内 973 专家组 组织的评测中活动获得了第一名，在第一届国际中文处理研究机构 SigHan 组织的 评测中都获得了多项第一名。综合性能最优。该工具采用了大规模知识库管理技 术，在高速度与高精度之间取得了重大突破，该技术可以管理百万级别的词典知 识库，单机每秒可以查询 100 万词条，而内存消耗不到知识库大小的 1.5 倍。 ICTCLAS 分词速度单机 996KB/s，分词精度 98.45%。
16

4 深网数据采集技术方案
4.1 深网数据采集模块框架体系结构
支持深层 Web 数据库集成系统主要包括两个子系统：数据源收集子系统和查 询处理子系统（如图 11 所示） 。 数据源收集子系统的主要功能是从 Web 中发现并识别 Web 数据库，并对 其进行分类， 同时为 Web 数据库生成抽取数据所需的数据源查询接口包装 器。 查询处理子系统的主要功能是处理用户提交的查询请求，为用户返回 Web 数据库的查询结果记录集合。 各组件具体说明如下。
图 11 支持深层Web数据库集成的网格系统的体系结构
17

4.2 Web 数据库爬虫组件
Web 数据库爬虫组件的主要功能是面向特定的应用领域从互联网中发现 Web 数据库资源。该组件主要采用定向搜索的方法，首先使用领域关键字在传统搜索 引擎系统中检索与领域相关的 Web 页面， 再对 Web 页面进行分析， 根据 Web 页面 中是否包含有效的 Form 表单来判断该页面是否属于 Web 数据库的查询接口。 本模块由服务器端爬虫和客户端爬虫两部分组成， 服务端爬虫实现了爬虫服务 器端获取种子和分发种子的功能。首先，和各个客户端建立连接。然后，从传统 搜索引擎获取种子并封装种子。当种子数为 0 或收到终止命令时，结束程序。最 后，向客户端发送种子，接收客户端爬取的信息，并继续判断是否当前种子数为 0 或收到终止命令。客户端爬虫实现了爬虫客户端爬取网页链接的功能。首先，和 服务器端建立连接。然后，接收服务器端发送的种子，如果种子个数为 0 则终止 进程。接着，对种子链接的网页进行宽度优先遍历。最后将爬取的链接信息传给 服务器端，并重复上述过程，直到种子个数为 0。
4.3 数据源分类组件
数据源分类组件的主要功能是根据 Web 数据库所属的领域对其进行基于主题 的更细粒度地分类， 其目的是实现更加精确的 Web 数据库分类和 Web 数据库选择。 在该组件中，Web 数据库首先根据爬虫的结构按照领域分类，再按照领域中的内 容主题进行分类。 数据源分类组件是对爬虫模块的结果页面进行分类和过滤，然后将分类好的 URL 及页面信息提供给包装器进行包装。 假定 al 为某一网页内部特定领域 FORM 的 Dom 路径的列表， result 为分类器的结果列表 （初始时将 al 和 result 设置为空） 。 该组件的基本流程如下： (1) 从待分类网页队列中取出一个网页对象，其中包括网页的 URL 及网页内容 等信息。 (2) 判断取出的网页中是否含有 FORM 表单，若有，则提取出其中所有的 FORM 表单加入 Dom 树节点列表 nl 中；若没有，则转到步骤(1)。 (3) 判断 nl 中的 FORM 表单节点是否已被全部处理，若存在未处理的节点，则
18

提取出下一个 FORM 表单进行处理，否则转到步骤(7)。 (4) 判断 FORM 表单中文本输入框的个数 num，num=-1 表示 FORM 中含有密码输入框，num=0 表示 FORM 中无文本输入框，num=1 表示 FORM 中只有一个文本输入框，否则 FORM 中有多个输入框。若 num=-1 或 num=0 则转到步骤(3),若 num=1 则转到步骤(5)，否则转到步骤(6)。 (5) 通过发送查询探测词 detectWord，根据探测返回的页面信息判定此 FORM 是否为特定领域的查询接口，若是，则将其在此页面中的路径加入到列表 al 中，然后转到(3)；否则，直接转到(3)。 (6) 处理多文本输入框的 FORM， 首先通过启发式规则排除掉一些常见的非查询 接口 FORM，然后提取此 FORM 中的文本信息并与预先定义好的领域信息应 用相似度算法进行配。若匹配结果属于特定领域，则将其在此页面中的路 径加入到列表 al 中，然后转到(3)；否则，直接转到(3)。 判断列表 al 是否为空，若不为空，则证明所判断的网页含有特定领域的接口 FORM，将此网页对象加入到 result 中，然后转到(1)；否则，直接转到(1)。
4.4 系统用户接口
系统用户接口的主要功能是为用户提供统一的查询接口， 并负责在用户提交查 询后，把用户的查询请求提交给后台进行查询，后台得到查询结果后，将结果返 回给用户，显示在页面上。
4.5 查询调度组件
查询调度组件的主要功能是负责查询调度，主节点机接到查询之后，把它分 发给空闲的子节点机进行查询，子节点机定时向主节点机汇报自己的状态，主节 点机维护子节点机的状态队列，从中取出空闲的子节点机。 主节点机（查询中心节点机）开启 UDP 监听线程来监听子节点机的状态，开 启调度线程，等待数据源选择组件发来查询。UDP 监听线程开启后，监听子节点 机的状态，并维护子节点机状态队列。当数据源选择组件发来查询时，调度线程 接到查询，从状态队列取出子节点机的 ip 地址和端口号，返回给数据源选择组件。
19

4.6 查询处理与转发组件
查询处理与转发组件主要实现了查询处理和转发的功能。客户端接到请求后， 获取已选的跟查询最相关的数据源的包装器，然后进行查询松弛，再向每个数据 源发查询。得到每个数据源返回的查询结果后，把它们的局部结果模式转换成全 局结果模式，然后将结果返回。 本模块实现了查询处理与转发的功能。首先客户端开启监听线程，等待接收 查询请求，接到请求后，获取已选的跟查询最相关的数据源的包装器，然后进行 查询松弛，再向每个数据源发查询。得到每个数据源返回的查询结果后，要把它 们的局部结果模式转换成全局结果模式，然后将结果返回。
4.7 记录抽取组件
记录抽取组件的主要功能是将结果页面的视觉特征转化到页面的 DOM 结点 的位置特征，从而实现对结果页面中的记录进行抽取。其目标是在面对复杂的结 构和大量的噪声节点页面时，仍能够完整、准确的获得数据信息。 本模块实现了对不同层次的数据抽取功能，根据用户的不同需求返回不同抽 取粒度的结果记录。首先，输入页面和关键字，进行记录级别的数据抽取。如果 用户需要记录级别的数据抽取则输出记录级别的结果结束，否则进行数据表格级 别的数据抽取。如果用户需要记录表格级别的数据抽取则输出数据表格，否则进 行模式级别的数据抽取，将模式级别的数据结果输出。
4.8 数据缓存管理组件
数据缓存管理包括查询结果缓存和采集的数据缓存。查询结果缓存是保存与 查询关键字密切相关的查询结果，可在后续查询时为用户快速地提供查询结果， 同时积累采集的数据。采集的数据是在空闲时对数据库中数据进行采集，主要思 路是：构建查询关键字、经过查询松弛、查询重构造、查询结果评价等多次重复 过程采集数据库中数据，同时将采集得到的结果进行分类存储，为后续数据分析 哈查询提供数据资源。
20