搜索引擎算法

HITS 算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Center) 的名为―CLEVER‖的研究项目中的一部分。

具体解释

一个网页重要性的分析的算法。

算法对返回的匹配页面计算两种值,一种是枢纽值(Hub Scores)，另一种是权威值（Authority Sc ores）这两个值是相互依存、相互影响的。所谓枢纽值，指的是页面上所有导出链接指向页面的权威值之和。权威值指的是所有导入链接所在的页面的枢纽值之和。

通常HITS算法是作用在一定范围的，比如一个以程序开发为主题网页，指向另一个以程序开发为主题的网页，则另一个网页的重要性就可能比较高，但是指向另一

个购物类的网页则不一定。

在限定范围之后根据网页的出度和入度建立一个矩阵，通过矩阵的迭代运算和定

义收敛的阈值不断对两个向量Authority和Hub值进行更新直至收敛。

Hits算法

HITS(Hyperlink –Induced Topic Search) 算法是利用HubPAuthority的搜索方法,具体算法如下:

将查询q提交给基于关键字查询的检索系统，从返回结果页面的集合总取前n个网页(如n=200)，作为根集合(root set)，记为S，则S满足：

1.S中的网页数量较少

2.S中的网页是与查询q相关的网页

3.S中的网页包含较多的权威(Authority)网页

通过向S 中加入被S 引用的网页和引用S 的网页,将S 扩展成一个更大的集合T. 以T 中的Hub 网页为顶点集V1 ,以权威网页为顶点集V2 。

V1 中的网页到V2 中的网页的超链接为边集E ,形成一个二分有向图. 对V1 中的任一个顶点v ,用h ( v) 表示网页v 的Hub 值,且h ( v)收敛;对V2 中的顶点u ,用a ( u) 表示网页的Authority 值。

开始时h ( v) = a ( u) = 1 ,对u 执行I 操作,修改它的a ( u) ,对v执行O操作,修改它的h ( v) ,然后规范化a ( u),h ( v) ,如此不断的重复计算下面的I操作和O操作,直到a ( u),h(v)收敛。

其中I操作:a ( u) = Σh ( v) ;O 操作: h ( v) = Σa ( u) 。每次迭代对a ( u) 、h ( v) 进行规范化处理: a ( u) = a ( u)/Σ[ a ( q) ]2 ; h ( v) = h ( v)/Σ[ h ( q) ]2 。

HITS搜索引擎算法的研究

理解HITS算法是Web结构挖掘中最具有权威性和使用最广泛的算法。

HITS(Hypertext-Induc edTopic Search)算法是利用Web的链接结构进行挖掘典型算法，其核心思想是建立在页面链接关系的基础上，对链接结构的改进算法。[1]HITS算法通过两个评价权值——内容权威度（Authority）和链接权威度（Hub）来对网页质量进行评估。其基本思想是利用页面之间的引用链来挖掘隐含在其中的有用信息（如权威性），具有计算简单且效率高的特点。HITS算法认为对每一个网页应该将其内容权威度和链接权威度分开来考虑，在对网页内容权威度做出评价的基础上再对页面的链接权威度进行评价，然后给出该页面的综合评价。内容权威度与网页自身直接提供内容信息的质量相关，被越多网页所引用的网页，其内容权威度越高；链接权威度与网页提供的超链接页面的质量相关，引用越多高质量页面的网页，其链接权威度越高。

首先，它完全将网页的内容或文本排除在外，仅考虑网页之间的链接结构来分析页面的权威性，这与现实网络中的权威页面相比，其不科学性显而易见。然而HITS 算法也有其明显的不足。因为权威页面必须针对某一主题或关键词而言。某一页面对一确定主题的具有较大权威性的页面并不意味在其他与其无关的主题方面同样具有权威性。其次一个页面对另一页面的引用有多种情况，其中包含了一页面对另一页面的认可，但除此之外也有其他目的链接，如为了导航或为了付费广告。就HITS算法的思想与实现过程做了细致的研究与概括。而HITS算法在实现过程中均没有考虑以上情况．导致了结果与目标的差距。

对HITS算法的第二个不足，即非正常目的的引用．在HITS算法看来，也误认为是正常引用，导致实际结果与目标的出入。针对前面第一种不足，就有相关的学者提出了一种利用超链文字及其周围文字与关键字相匹配而计算超链权值的方法，并引入系数对周围文字和超链文字进行权值的相对控制，很好地将页面文本信息引入到HITS算法，提高了算法的可靠性，并在现实中取得了很好的效果。

后来，经过不断的改进。HITS算法又引入了时间参数，即利用对一链接引用的时问长短来评价是否为正常引用。因为非正常链接其引用时问肯定不会很长（如交换链接、广告链接），相反，如果一页面对另一页面的链接时间较长，则必然反映此页面就是用户的寻找页面。即目标页面或至少是正常引用。

如设定访问时间少于1分钟者为非正常引用。如果设定时间阀值，则可以将非正常引用的链接在HITS算法的实现过程中筛选出来。另外可构造时间访问函数，控制权威页面的相对大小。如随访问时间的增大而其权威性也逐渐非线性增大．这样可为HITS算法的权威页面提供更合理、更科学的解释。

PageRank(网页级别)，2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇. 它是Google排名运算法则（排名公式）的一部分，是Google用于用来标识网页的等级/重要性的一种方法，是Google用来衡量一个网站的好坏的重要标准之一。在揉合了诸如Title标识和Keywords标识等所有其它因素之后，Google通过PageRank 来调整结果，使那些更具―等级/重要性‖的网页在搜索结果中令网站排名获得提升，从

而提高搜索结果的相关性和质量。其级别从0到10级，10级为满分。PR值越高说明该网页越受欢迎（越重要）。例如：一个PR值为1的网站表明这个网站不太具有流行度，而PR值为7到10则表明这个网站非常受欢迎（或者说极其重要）。一般PR值达到4，就算是一个不错的网站了。Google把自己的网站的PR值定到10，这说明Google这个网站是非常受欢迎的，也可以说这个网站非常重要。

Google的PageRank根据网站的外部链接和内部链接的数量和质量来衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的―链接流行度‖——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。

Google有一套自动化方法来计算这些投票。Google的PageRank分值从0到10；PageRank为10表示最佳，但非常少见，类似里氏震级（Richter sc ale），PageRank级别也不是线性的，而是按照一种指数刻度。这是一种奇特的数学术语，意思是PageRank4不是比PageRank3好一级——而可能会好6到7倍。因此，一个PageRank5的网页和PageRank8的网页之间的差距会比你可能认为的要大的多。

PageRank较高的页面的排名往往要比PageRank较低的页面高，而这导致了人们对链接的着魔。在整个SEO社区，人们忙于争夺、交换甚至销售链接，它是过去几年来人们关注的焦点，以至于Google修改了他的系统，并开始放弃某些类型的链接。比如，被人们广泛接受的一条规定，来自缺乏内容的―link farm‖（链接工厂）网站的链接将不会提供页面的PageRank，从PageRank较高的页面得到链接但是内容不相关（比如说某个流行的漫画书网站链接到一个叉车规范页面），也不会提供页面的PageRank。Google选择降低了对PageRank的更新频率，以便不鼓励人们不断的对其进行监测。

Google PageRank一般一年更新四次，所以刚上线的新网站不可能获得PR值。你的网站很可能在相当长的时间里面看不到PR值的变化，特别是一些新的网站。PR值暂时没有，这不是什么不好的事情，耐心等待就好了。

为您的网站获取外部链接是一件好事，但是无视其他SEO领域的工作而进行急迫的链接建设就是浪费时间，要时刻保持一个整体思路并记住以下几点：·Google的排名算法并不是完全基于外部链接的

·高PageRank并不能保证Google高排名

·PageRank值更新的比较慢，今天看到的PageRank值可能是三个月前的值

因此我们不鼓励刻意的去追求PageRank，因为决定排名的因素可以有上百种。尽管如此，PageRank还是一个用来了解Google对您的网站页面如何评价的相当好的指示，Anzone建议网站设计者要充分认识PageRank在Google判断网站质量中的重要作用，从设计前的考虑到后期网站更新都要给予PageRank足够的分析，很好的利用。我们要将PageRank看作是业余爱好而不是一种信仰。

page rank原理

通过对由超过50,000 万个变量和20 亿个词汇组成的方程进行计算，PageRank 能

够对网页的重要性做出客观的评价。PageRank 并不计算直接链接的数量，而是将从网页 A 指向网页 B 的链接解释为由网页 A 对网页 B 所投的一票。这样，PageRank 会根据网页 B 所收到的投票数量来评估该页的重要性。

此外，PageRank 还会评估每个投票网页的重要性，因为某些网页的投票被认为具有较高的价值，这样，它所链接的网页就能获得较高的价值。重要网页获得的PageRank（网页排名）较高，从而显示在搜索结果的顶部。Google 技术使用网上反馈的综合信息来确定某个网页的重要性。搜索结果没有人工干预或操纵，这也是为什么Google 会成为一个广受用户信赖、不受付费排名影响且公正客观的信息来源。

其实简单说就是民主表决。打个比方，假如我们要找李开复博士，有一百个人举手说自己是李开复。那么谁是真的呢？也许有好几个真的，但即使如此谁又是大家真正想找的呢？:-) 如果大家都说刚从Google 离职的那个是真的，那么他就是真的。

在互联网上，如果一个网页被很多其它网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。这就是Page Rank 的核心思想。当然Google 的Page Rank 算法实际上要复杂得多。比如说，对来自不同网页的链接对待不同，本身网页排名高的链接更可靠，于是给这些链接予较大的权重。Page Rank 考虑了这个因素，可是现在问题又来了，计算搜索结果的网页排名过程中需要用到网页本身的排名，这不成了先有鸡还是先有蛋的问题了吗？

Google 的两个创始人拉里·佩奇（Larry Page ）和谢尔盖·布林(Sergey Brin) 把这个问题变成了一个二维矩阵相乘的问题，并且用迭代的方法解决了这个问题。他们先假定所有网页的排名是相同的，并且根据这个初始值，算出各个网页的第一次迭代排名，然后再根据第一次迭代排名算出第二次的排名。他们两人从理论上证明了不论初始值如何选取，这种算法都保证了网页排名的估计值能收敛到他们的真实值。值得一提的是，这种算法是完全没有任何人工干预的。

理论问题解决了，又遇到实际问题。因为互联网上网页的数量是巨大的，上面提到的二维矩阵从理论上讲有网页数目平方之多个元素。如果我们假定有十亿个网页，那么这个矩阵就有一百亿亿个元素。这样大的矩阵相乘，计算量是非常大的。拉里和谢尔盖两人利用稀疏矩阵计算的技巧，大大的简化了计算量，并实现了这个网页排名算法。今天Google 的工程师把这个算法移植到并行的计算机中，进一步缩短了计算时间，使网页更新的周期比以前短了许多。

网页排名的高明之处在于它把整个互联网当作了一个整体对待。它无意识中符合了系统论的观点。相比之下，以前的信息检索大多把每一个网页当作独立的个体对待，

很多人当初只注意了网页内容和查询语句的相关性，忽略了网页之间的关系。

今天，Google 搜索引擎比最初复杂、完善了许多。但是网页排名在Google

所有算法中依然是至关重要的。在学术界, 这个算法被公认为是文献检索中最大的贡

献之一，并且被很多大学引入了信息检索课程(Information Retrieval) 的教程。

网站外部链接建设

在计算网站排名时，Pagerank会将网站的外部链接数考虑进去。并不能说一个网

站的外部链接数越多其PR值就越高，如果这样的话，一个网站尽可能获得最多的外

部链接就OK了，有这种想法是错误的。Google对一个网站上的外部链接数的重视程度并不意味着你因此可以不求策略地与任何网站建立连接。这是因为Google并不是简单地由计算网站的外部链接数来决定其等级。Google的Pagerank系统不单考虑一个网站的外部链接数量，也会考虑其质量。这个问题看来很有复杂。首先让我们来解释一下什么是阻尼因数(damping fac tor)。阻尼因数就是当你投票或链接到另外一个站点时所获得的实际PR分值。阻尼因数一般是0.85。当然比起你网站的实际PR值，它就显得微不足道了。

现在让我们来看看这个PR分值的计算公式：PR(A)=(1-d)+d(PR(t1)/C(t1)+...+PR(tn)/C(tn)) 公式解释：其中PR(A)表示的是从一个外部链接站点t1上，依据Pagerank系统给你的网站所增加的PR分值；PR(t1)表示该外部链接网站本身的PR分值；C(t1)则表示该外部链接站点所拥有的外部链接数量。大家要谨记：一个网站的投票权值只有该网站PR分值的0.85。

那么，是不是说对一个网站而言，它所拥有的较高网站质量和较高PR分值的外部链接数量越多就越好呢？错，因为－Google的Pagerank系统不单考虑一个网站的外部链接质量，也会考虑其数量.比方说，对一个有一定PR值的网站X来说，如果你的网站Y是它的唯一一个外部链接，那么Google就相信网站X将你的网站Y视做它最好的一个外部链接，从而会给你的网站Y更多的分值。可是，如果网站X上已经有49个外部链接，那么Google就相信网站X只是将你的网站视做它第50个好的网站。因而你的外部链接站点上的外部链接数越多，你所能够得到的PR分值反而会越低，它们呈反比关系。

说它对是因为－一般情况下，一个PR分值大于等于6的外部链接站点，可显著提升你的PR分值。但如果这个外部链接站点已经有100个其它的外部链接时，那你能够得到的PR分值就几乎为零了。同样，如果一个外部链接站点的PR值仅为2，但你却是它的唯一一个外部链接，那么你所获得的PR值要远远大于那个PR值为6，外部链接数为100的网站。

而且这个0.85的权值平均分配给其链接的每个外部网站。

抓取网站的页面数

Google在你的网站抓取的页面数，数目越多，Pagerank值越高。但通常Google 并不会主动抓取你的网站的所有页面，尤其是网址里带有―?‖的动态链接，Google不主动，那就要我们主动了，最笨的办法是把网站所有的页面都提交给Google，但我想没有谁真会这么做，但页面不多的话可以试试。更好的办法是制作一个静态Html页面，通常被称作―网站地图‖或―网站导航‖，它里面包含你要添加的所有网址，然后把这个静态页面提交给Google。

网站被世界三大知名网站DMOZ，Yahoo和Looksmart 收录众所周知，Google 的Pagerank系统对那些门户网络目录如DMOZ，Yahoo和Looksmart尤为器重。特别是对DMOZ。一个网站上的DMOZ链接对Google的Pagerank?来说，就好像一块金子一样珍贵。如果你的网站为ODP收录，则可有效提升你的页面等级。向ODP提交你的站点并为它收录，其实并不是一件难事，只是要多花点时间而已。只要确保你的网站提供了良好的内容，然后在ODP合适的目录下点击"增加站点"，按照提示一步步来就OK了。至少要保证你的索引页(INDEX PAGE)被收录进去。所以，如果你的网站内容涉及完全不同的几块内容，你可以把每个内容的网页分别向ODP提交－不过请记住"欲速则不达"。等到Google对其目录更新后，你就能看到你的PR值会有什么变化了。如果你的网站为Yahoo和Looksmart所收录，那么你的PR值会得到显著提升。如果你的网站是非商业性质的或几乎完全是非商业性质的内容，那么你可以通

过zeall使你的网站为著名的网络目录Looksmart所收录。Looksmart也是从Zeal网络目录获得非商业搜索列表。

Google PR值的更新周期是多长时间？一般情况下PR值更新的周期是2.5～3个月！

PageRank相关算法

PageRank

基本思想：如果网页T存在一个指向网页A的连接，则表明T的所有者认为A 比较重要，从而把T的一部分重要性得分赋予A。这个重要性得分值为：PR（T）/C(T) 其中PR（T）为T的PageRank值，C(T)为T的出链数，则A的PageRank值为一系列类似于T的页面重要性得分值的累加。

优点：是一个与查询无关的静态算法，所有网页的PageRank值通过离线计算获得；有效减少在线查询时的计算量，极大降低了查询响应时间。

不足：人们的查询具有主题特征，PageRank忽略了主题相关性，导致结果的相关性和主题性降低；另外，PageRank有很严重的对新网页的歧视。

Topic-Sensitive PageRank

（主题敏感的PageRank）

基本思想：针对PageRank对主题的忽略而提出。核心思想：通过离线计算出一个PageRank向量集合，该集合中的每一个向量与某一主题相关，即计算某个页面关于不同主题的得分。主要分为两个阶段：主题相关的PageRank向量集合的计算和在线查询时主题的确定。

优点：根据用户的查询请求和相关上下文判断用户查询相关的主题（用户的兴趣）返回查询结果准确性高。

不足：没有利用主题的相关性来提高链接得分的准确性。

Hilltop

基本思想：与PageRank的不同之处：仅考虑专家页面的链接。主要包括两个步骤：专家页面搜索和目标页面排序。

优点：相关性强，结果准确。

不足：专家页面的搜索和确定对算法起关键作用，专家页面的质量决定了算法的准确性，而专家页面的质量和公平性难以保证；忽略了大量非专家页面的影响，不能反应整个Internet的民意；当没有足够的专家页面存在时，返回空，所以Hilltop适合对于查询排序进行求精。

影响PR的因素

1 与pr高的网站做链接:

2 内容质量高的网站链接

3 加入搜索引擎分类目录

4 加入免费开源目录

5 你的链接出现在流量大、知名度高、频繁更新的重要网站上

6 google对PDF格式的文件比较看重。

7 安装Google工具条

8 域名和tilte标题出现关键词与meta标签等

9 反向连接数量和反向连接的等级

10 Google抓取您网站的页面数量

11 导出链接数量

相关新闻

2009年10月30日，颇受网站从业人员关注的谷歌PageRank值，迎来了一次大范围调整。来自谷歌中国公司内部人士向记者透露，这是谷歌PageRank三个月更新周期的正常行为。

早在2007年，Google就对去除Google工具栏中的PageRank功能征求过用户意见。但此事不了了之。未来Google可能会停止提供PageRank信息。不过业内人士称，PageRank直接关系到Google的品牌，Google不会轻易作出该决定。

2009年10月15日，谷歌网站管理员中心（Webmaster Central）一位名为Susan Moskwa的谷歌员工曾透露，谷歌已经停止了PR值的更新，并呼吁用户不要过于看重PR值。

搜索引擎排名的计算公式

*leScore = (KW Usage Score * 0.3) + (Domain Strength * 0.25) +(Inbound Link Sc ore * 0.25) + (User Data * 0.1) + (Content QualityScore * 0.1) + (Manual Boosts) –(Automated & Manual Penalties)

翻译：

*分数=（相关关键词分数X0.3）+（域名权重X0.25）+（外链分数X0.25）+（用户数据X0.1）+（内容质量分数X0.1）+（人工加分）-（自动或人工降分）

公式中的因子分析

从公式中我们可以清楚的知道，影响pagerank分数的因素依次是―相关关键词‖、―域名‖、―外链‖、―用户数据‖、―内容质量‖以及―人工干预‖六个方面。那么又是哪些因素影响到了这几个方面呢？

一、关键词分数

1.网页title中关键词的处理

2.H标签（h1-h6）中关键词的处理

3.文本内容中关键词的密度

4.外链中关键词的选择

5.域名中的关键词

二、域名权重

1.域名注册前的历史问题

2.域名注册时间的长短

3.外链网站的权重

4.外链、给出链接的相关度

5.是否使用历史、链接形式

三、外链分数

1.链接域名权重

2.是否锚文本

3.链接数量/链接权重（PR或其他参数）

4.外链网页的主题相关度

5.链接的时间

四、用户数据

1.搜索引擎结果页面(SERPs)的点击率

2.用户在网页上呆的时间

3.域名或URL搜索量

4.访问量及其他*可以监测到的数据（工具条、GA等）

五、内容质量分数

1.内容的相关度

2.内容的原创性

3.内容的独特性

4.内容的抢先性和长效性

六、人工干预

1.*投票人员干预

2.关键词人工加（扣）分

3.机器算法干预

由于互联网上无数的网站页面，搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度（及外部链接的数量与质量）。

抓取网页策略

在抓取网页的时候，搜索引擎蜘蛛一般有两种策略：广度优先和深度优先（如下图所示）。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让搜索引擎蜘蛛并行处理，提高其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。两种策略的区别，下图的说明会更加明确。

广度优先和深度优先

由于不可能抓取所有的网页，有些搜索引擎蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在上图中，A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

访问网站权限

搜索引擎蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。