数据仓库与数据挖掘作业

《数据仓库与数据挖掘》课程作业

题目：利用Web挖掘技术构建电子商务网站

作者：

学号：

专业：

导师：

摘要：Web挖掘是数据挖掘应用于互联网的具体表现形式，也是从海量的电子商务交易信息中提取知识或者有用的信息以掌握网络客户消费习惯的重要技术手段。本文主要介绍了

Web挖掘技术在电子商务中的流程和应用，并构建了一个基于Web挖掘技术的电子商务网站的架构，协助电子商务企业更好的开展商务活动。

关键词：web挖掘，电子商务，网站架构

近十年来，数据挖掘技术已经在我国取得了长足的发展。电子商务也进入了高速的发展阶段，为越来越多的人所使用，已经成为现代社会高速高效的新型商业运作模式。由于电子商务的深入发展，大量客户信息和交易信息的产生，如何利用这些数据，使之成为有用的数据，是电子商务企业的竞争点。电子商务网站是电子商务企业开展商务活动的平台，如何搭建有效的电子商务平台显得尤为重要，因此Web挖掘技术在电子商务中的应用为其提供了新的发展思路。

1.Web挖掘技术的概念

O．Etzioni[1]定义web挖掘是“利用数据挖掘技术从Web文档和服务中自动地发现和抽取信息。”也就是对文档的内容、可利用资源的使用以及资源之间关系进行分析，从Web 数据中发现潜在的有用信息和先前不知道的知识的整个过程。Web挖掘是发现知识的一个迭代过程，是理解网络消费者和商家的一个重要的策略。

2.Web挖掘技术的分类[2]

按挖掘对象的不同，一般将Web挖掘分为三类：Web内容挖掘、Web结构挖掘和Web 日志挖掘。如图所示：

2.1.Web内容挖掘

Web内容挖掘是指对Web页面内容进行挖掘，从文本，图像，音频，视频，动画等各种形式的网络资源中发现所需的特定化信息，以实现Web资源的自动检索，提高Web数据的利用效率。Web数据分布范围很广，有来自于数据库的结构化数据，也有用HTML标记的半结构化数据及无结构的自由文本数据信息。所以将其分为基于文本的挖掘和基于多媒体的挖掘两种。基于文本的Web挖掘方法有数据库方法，建立Web数据仓库方法和新近的基于软件Agent的分类器方法、基于概念的文本信息挖掘法。Web多媒体的信息挖掘通常采用的方法为关联规则法和特征提取法。

2.2.Web结构挖掘

Web结构挖掘是挖掘Web潜在的链接结构模式，找到隐藏在一个个页面之后的链接结构模型，该模型可用于网页重新分类，寻找相似的网站，获得有关不同网页间相似度及关联度的信息。这有助于用户找到指向相关主题的权威站点。Web结构挖掘可分为超链接挖掘、页面结构挖掘等。这一领域最常用的是图论中的网落分析法，典型的算法有HITS算法、PageRank和HITS改进算法，人们采用这些算法主要是计算Web页面之间的关联程度。这不仅可用于提高网上搜索引擎搜索的准确性，还可以用于挖掘网站之间的通信、相互参引关系。

2.2.3Web日志挖掘

Web日志挖掘是对Web日志站点的日志进行处理，把网络结构上的非结构化的数据组织成传统的数据挖掘方法进行处理，能够实现动态地向网络用户进行推荐的目的，在电子商务的交叉销售和售后服务有很重要的作用。

在对WWW 进行web 挖掘的过程中，常使用的web 挖掘技术有关联规则，旨在通过挖掘发现类似“90% 的顾客在一次购买活动中购买物品A 的同时会购买物品B”这样的特征，经典的算法是Apriori算法；分类分析和聚类分析，这两者之间有相似处，其结果都是具有一定特征的群组，不过其本质差别很大，分类是在划分之前有明确的划分标志，划分结果是在规划之中的，然而聚类是以“簇内最大相似、簇间最大不同”为宗旨的，它没有任何划分标志，最终可划分为几簇也不可知。序列模式与关联分析类似，它寻找的是事件之间时间上的相关性。能发现数据库中形如“在一段时间内，顾客购买物品A，然后购买物品B，而后购买物品C，则序列A-B-C出现的频率较高”之类的知识。

3.常用的挖掘技术

3.1.统计分析(Statistical Analysis)

统计分析方法是抽取有关Web访问者知识的最常见、最普通的技术。通过分析用户会话文件，我们可以进行频率、平均值和中位数等各种不同种类的基本的描述性分析。根据用户浏览路径中的访问页面、访问时间和访问长度等变量，Web流量分析工具能定期产生各种统计分析报告。其中的统计信息包括最频繁访问的网页、每个页面的平均访问时间和网站的平均访问路径长度等。但是这些报告可能引起低层次的错误分析，例如监测未经授权的入口点或发现最常见的无效URL等。

3.2.路径分析(Path Analysis)

路径分析就是要从图中确定最频繁的路径访问模式或大的参考序列。我们可以用许多不同类型的图形来进行路径分析。最常见的一种是表示网站物理布局的网站结构图，我们可以从图中找到用户的浏览模式，发现Web站点中最频繁的访问路径，从而可以调整站点的结

构。目前多数挖掘算法属于类Apriori算法。其缺点是需要多次扫描数据库。提出了一种基于有向图的从Web日志中挖掘用户频繁访问模式的新算法。该算法只需扫描数据库一次，即可直接挖掘出所有的Web频繁访问路径，提高了Web访问模式的效率。在Apriori算法和有向图存储结构的基础上，提出了会话矩阵和遍历矩阵的概念，设计了用户频繁路径快速挖掘算法。

3.3.关联规则(Association Rules)

关联规则是指经常被一起访问的，支持度超过特定阈值的页面集合。它主要用于发现用户之间、页面之间以及用户浏览页面和网上行为之间存在的潜在关系。比如挖掘可能得出“浏览/products/Electronic Product.html 的用户75%都会浏览/products/ Software.html”，并且“浏览/products/Software.html 的用户50%都会下订单”的规则，那么管理员应该在电子商品目录页面提供进入计算机软件目录页面的直接途径。最为著名的关联规则挖掘算法是R.Agrawal提出的Apriori算法，其余算法大多是以Apriori为核心，或是其变体，或是其扩展。如Apriori TID算法，Apriori Hybrid算法，DIC算法，Partition算法等。

4.Web挖掘在电子商务中的流程

与普通的数据挖掘不同的是，web挖掘的对象是互联网上的数据，而这些数据最大的特点是非结构化的，加之网络数据本身的动态特征，使得web挖掘过程更加复杂。总体来说，web挖掘一般会经历数据准备、web挖掘、模式发现及分析几个阶段，如图所示：

1.数据准备。

数据准备无论在传统的数据挖掘还是web挖掘中都占有十分重要的地位，数据的数量和质量直接影响到挖掘的质量和效果。Web挖掘与普通挖掘的数据源不同，它主要来自于web日志，Web的结构大体为：客户端—代理服务器—web服务器，web服务器日志记录的是多个用户访问单个站点的信息，它记录了用户每次访问网站进行网页请求的信息，可以全面记录用户登录的时间、IP、页面，通过Cookies来寻找用户浏览网页的痕迹，可以分析用户的浏览行为，因此是很重要的数据来源。HTTP协议无法跟踪客户在网站上的所有行为，所以客户的属性信息在web服务器中是很少的，它主要来源于客户在注册本网站的时候留下的特征信息。此外，还有客户的交易数据和web文档等数据信息。

2.信息采集与抽取。

数据源中包含了大量的数据信息，并不是所有的信息都会被采集，而是要抽取与挖掘主题息息相关的数据项。

3.选择和预处理。

现实的数据都会存在冗余、不完全的特征，为了提高web挖掘质量，要对数据进行选择和预处理。这个环节包括数据净化、用户识别、路径补充、事件识别和格式化处理等。4.web 挖掘。

选择合适的web 挖掘算法和工具进行挖掘。

5.模式发现及模式分析。

web挖掘的结果可能产生一些模式或潜在规则，而并不是所有的规则和模式都是适用

的，因此要对规则进行验证和分析。需要注意的是，web挖掘不是单次的固定活动，而是一个反复的动态过程。

5.Web 挖掘在电子商务中的应用领域

1.商品推荐服务：在电子商务网站上购买一本书，页面会有提示：“购买了这本书的读者还购买了以下书籍”，这就是商品推荐服务的典型例子。商家从统计学的角度，通过对客户交易数据的处理，把客户分为不同的类别，提取出每一类客户所具备的共同特征，从而提供推荐商品的服务，以此推动交易量。这也是Web挖掘最普通的应用。

2.个性化的网络营销服务：web 挖掘的终极目的是通过收集客户的浏览信息、购物信息、交易结果和信用信息等，来寻找客户的兴趣和行为模式，以此来实现以用户需求为核心的网络营销服务，只有掌握了这些信息，掌握了网络消费者的偏好特征，才能为潜在顾客提供个性化的服务。一对一的个性化服务也是电子商务为之努力的方向。

3.理解网络用户意图：通过路径游历模式的发现算法或数据立方体，发现被频繁访问的路径，从而了解用户浏览的意图。

4.改进web 站点设计：通过用户聚类和关联规则的发现，调整站点之间的链接关系。根据用户常访问的路径来设置页面导航，或根据用户输入引擎的查询关键词来动态的调整web页面，为网络用户提供便利性、针对性的网页服务，这样也可以使用户驻留网页的时间延长。[3]

6.基于Web挖掘技术的电子商务网站架构

基于Web挖掘技术构建电子商务网站就是根据网络消费者的浏览行为自动构建浏览模式，包括频繁访问页面、页面聚类、用户聚类等等，然后根据当前用户的浏览模式，进行页面推荐和网站架构的调整，为用户提供个性化的服务。

6.1模块分析

基于Web挖掘技术构建的电子商务网站包括以下3个模块[4]：

（1）基本模块

基本模块的功能包括：会员注册、商品展示、商品查询、购物车设计、订单的生成、客户服务等。利用基本模块可以实现与用户的交流，还可以根据用户当前会话（Session ），得到每个用户的当前访问序列，然后把序列列入模式库中，运算得到用户下一步可能访问的页面，这些页面的地址可以附加到用户当前访问页面的底部，作为推荐。

（2） 后台处理模块

该模块主要为后台处理程序，从Web 日志文件中发现访问者的浏览模式，对这些模式进行筛选，通过用户聚类和URL 聚类建立模式库。利用Web 日志挖掘算法从Web 日志发现用户的浏览模式，并对这些用户行为模式库进行更新和维护。

（3） 管理员模块

管理员模块主要包括：客户管理部分、商品管理部分、订单处理部分、收款处理部分等。另外管理员模块自动发现站点设计的不合理之处。站点的拓扑结构反映了设计者的思想，而模式库中的用户访问模式代表了大多数用户的行为，这两者之间的差异就是站点设计的不合理之处。管理员指导模块的任务是根据用户对站点的访问情况，对照站点的拓扑结构，从中寻找站点设计的不合理之处，提醒站点，管理员修正。

面向Web 挖掘技术的智能Web 站点的体系结构如图2 所示

6.2主要模块设计

1.基本模块的设计

在网页设计上设置注册用户选择框，分三种情况为用户产生个性化页面：如果是访客，

则直接调用基本页面；如果是用户第一次注册登录，则首先出现个性化定制页面，会员可以选择自己的兴趣爱好，这些信息被添加到模式库中，可信度置为100%，辅以模式库中的基本页面；注册用户非首次访问，则依据后台处理模块进行用户聚类，调用同类用户的感兴趣页面，生成个性化页面。

Web服务器在接受请求后，将定义的接口参数（如url，cookie，time等）传递给推荐模块，推荐模块根据用户的当前会话与模式库中的模式进行最佳匹配（如图3），然后返回生成的推荐模块，Web服务器将推荐的内容潜入被请求页面返回给用户（如图4）。

2后台处理模块设计

对站内所有网页信息进行预处理，一般来说，网站的每个页面，在设计时已经把主题信息写入meta 字段。这样我们通过遍历网站的所有页面，搜索当前页面的主题以及关键字，通过聚类算法对所有页面主题信息进行聚类保存，以便为网页相似和后面的个性化推荐提供依据。对站内日志文件进行预处理，转换如表D所示形式：

（1）用户聚类

对原始文件进行预处理后，通过用户聚类算法来实施挖掘，其主要步骤如下：

①对日志文件进行合并清洗，去除不相关数据，并按某一时间段来进行筛选，得到文件wjtable。

②对wjtable 文件分析处理，得到站点事务结构文件tbHits。

③通过分析tbHits，按行url、列userid，元素值为userid访问URL次数的形式构造矩阵Tmatrix，并消除值全为0的行。

④检查元素值大小，如果元素值不为0，则将该值置为1，否则为0。

⑤根据定义4计算任意行向量间的相似性，得到矩阵Tmatrix2。

⑥根据定义5计算阈值的大小，得到阈值K。

⑦比较M2 中的元素与阈值K的大小，若M2[i，j]

⑧遍历所有满足条件的i 和j，得到类的集合C。

这样就可以把具有相似访问倾向的用户进行聚类，这是优化网站结构的重要依据。

（2）关联分析

商家除了对网络消费者进行用户聚类之外，还有一个关键的问题，就是如何找出使用者在网站上浏览某一商品时，同时也会浏览其他某一种商品之间的关联性。通过商品之间的关联性的寻找，可以在建设网站时将具有将强关联性的商品放在一起，增加商品页面被访问者浏览的机会，以提高顾客购买商品的欲望，增加商品的销售。下面给出利用Apriori算法频繁项集的过程及它的伪代码：

①L1=find_frequet_1_itemsets(D);

②for(k=2;L k-1≠φ;k++){

③C K=apriori_gen(L k-1);

④For each 事物t∈D{//扫描D用于计数

⑤C t=subset(C k,t);//得到t的子集，他们是候选

⑥for each候选c∈C t

⑦ c.count++

⑧}

⑨L k={c∈C k|c.count≥min_sup}

⑩}

?return L=U k L k;

procedure apriori_gen(L k-1:frequent(k-1)-itemsets)

①for each项集l1∈L k-1

②for each项集l2∈L k-1

③if(l1[1]=l2[1])∧(l1[2]=l2[2])∧…∧(l1[k-2]=l2[k-2])∧(l1[k-1]

④c=l1∪l2;//连接步:产生候选

⑤if has_infrequent_subset(c,L k-1)then

⑥delete c;剪枝步：删除非频繁的候选

⑦else add c to C k;

⑧}

⑨Return C k;

Procedure has_infrequent_subset(c:candidate k-itemset;

L k-1:frequent(k-1)-itemsets)//使用先验知识

①For each(k-1)-subset s of c

②If s∈L k-1then

③Return FALSE

通过Apriori算法得到的频繁项集产生关联规则，说明频繁项集之间具有关联性，如果频繁项集间的关联性高的话，则说明他们的关联程度高。在进行网页布局时，可以将他们放在一起，以提高被浏览的概率。

7.总结

本文总结了web挖掘的概念、分类，分析了web挖掘在电子商务中的关键技术，构建了web挖掘在电子商务中的挖掘流程图，并且基于Web挖掘技术构建了电子商务网站架构。根据站点所有网页信息及每个访问者的浏览模式获取到用户下一个可能访问的或偏好的页面，并通过其基础模块部分进行推荐，为每个访问者提供个性化服务。

参考文献

[1] Etzioni O.The Word Wide Web: Quagmire or gold mine[J].Communications of

ACM,1996.39(11):65 – 68.

[2] 苏新宁，杨建林，江念南，栗湘。数据仓库与数据挖掘[M]。清华大学出版社，2006.4

[3]吴静。数据挖掘在电子商务中的应用[J].福建电脑,2008（7）

[4]秋彦芳。利用Web挖掘技术构建智能化电子商务站点[J].计算机与网络：243-244