搜索引擎爬虫外文翻译文献

(文档含中英文对照即英文原文和中文翻译)

译文：

探索搜索引擎爬虫

随着网络难以想象的急剧扩张，从Web中提取知识逐渐成为一种受欢迎的途径。这是由于网络的便利和丰富的信息。通常需要使用基于网络爬行的搜索引擎来找到我们需要的网页。本文描述了搜索引擎的基本工作任务。概述了搜索引擎与网络爬虫之间的联系。

关键词：爬行，集中爬行，网络爬虫

1.导言

在网络上WWW是一种服务，驻留在链接到互联网的电脑上，并允许最终用户访问是用标准的接口软件的计算机中的存储数据。万维网是获取访问网络信息的宇

宙，是人类知识的体现。

搜索引擎是一个计算机程序，它能够从网上搜索并扫描特定的关键字，尤其是商业服务，返回的它们发现的资料清单，抓取搜索引擎数据库的信息主要通过接收想要发表自己作品的作家的清单或者通过“网络爬虫”、“蜘蛛”或“机器人”漫游互联网捕捉他们访问过的页面的相关链接和信息。

网络爬虫是一个能够自动获取万维网的信息程序。网页检索是一个重要的研究课题。爬虫是软件组件，它访问网络中的树结构，按照一定的策略，搜索并收集当地库中检索对象。

本文的其余部分组织如下：第二节中，我们解释了Web爬虫背景细节。在第3节中，我们讨论爬虫的类型，在第4节中我们将介绍网络爬虫的工作原理。在第5节，我们搭建两个网络爬虫的先进技术。在第6节我们讨论如何挑选更有趣的问题。

2.调查网络爬虫

网络爬虫几乎同网络本身一样古老。第一个网络爬虫，马修格雷浏览者，写于1993年春天，大约正好与首次发布的OCSA Mosaic网络同时发布。在最初的两次万维网会议上发表了许多关于网络爬虫的文章。然而，在当时，网络i现在要小到三到四个数量级，所以这些系统没有处理好当今网络中一次爬网固有的缩放问题。

显然，所有常用的搜索引擎使用的爬网程序必须扩展到网络的实质性部分。但是，由于搜索引擎是一项竞争性质的业务，这些抓取的设计并没有公开描述。有两个明显的例外：股沟履带式和网络档案履带式。不幸的是，说明这些文献中的爬虫程序是太简洁以至于能够进行重复。

原谷歌爬虫（在斯坦福大学开发的）组件包括五个功能不同的运行流程。服务器进程读取一个URL出来然后通过履带式转发到多个进程。每个履带进程运行在不同的机器，是单线程的，使用异步I/O采用并行的模式从最多300个网站来抓取数据。爬虫传输下载的页面到一个能进行网页压缩和存储的存储服务器进程。然后这些页面由一个索引进程进行解读，从HTML页面中提取链接并将他们保存到不同的磁盘文件中。一个URL解析器进程读取链接文件，并将相对的网址进行存储，并保存了完整的URL到磁盘文件然后就可以进行读取了。通常情况下，因

为三到四个爬虫程序被使用，所有整个系统需要四到八个完整的系统。

在谷歌将网络爬虫转变为一个商业成果之后，在斯坦福大学仍然在进行这方面的研究。斯坦福Web Base项目组已实施一个高性能的分布式爬虫，具有每秒可以下载50到100个文件的能力。Cho等人又发展了文件更新频率的模型以报告爬行下载集合的增量。

互联网档案馆还利用多台计算机来检索网页。每个爬虫程序被分配到64个站点进行检索，并没有网站被分配到一个以上的爬虫。每个单线程爬虫程序读取到其指定网站网址列表的种子从磁盘到每个站点的队列，然后用异步I/O来从这些队列同时抓取网页。一旦一个页面下载完毕，爬虫提取包含在其中的链接。如果一个链接提到它被包含在页面中的网站，它被添加到适当的站点排队；否则被记录在磁盘。每隔一段时间，合并成一个批处理程序的具体地点的种子设置这些记录“跨网站”的网址，过滤掉进程中的重复项。Web Fountian爬虫程序分享了魔卡托结构的几个特点：它是分布式的，连续，有礼貌，可配置的。不幸的是，写这篇文章，WebFountain是在其发展的早期阶段，并尚未公布其性能数据。

3.搜索引擎基本类型

A.基于爬虫的搜索引擎

基于爬虫的搜索引擎自动创建自己的清单。计算机程序“蜘蛛”建立他们没有通过人的选择。他们不是通过学术分类进行组织，而是通过计算机算法把所有的网页排列出来。这种类型的搜索引擎往往是巨大的，常常能取得了大龄的信息，它允许复杂的搜索范围内搜索以前的搜索的结果，使你能够改进搜索结果。这种类型的搜素引擎包含了网页中所有的链接。所以人们可以通过匹配的单词找到他们想要的网页。

B.人力页面目录

这是通过人类选择建造的，即他们依赖人类创建列表。他们以主题类别和科目类别做网页的分类。人力驱动的目录，永远不会包含他们网页所有链接的。他们是小于大多数搜索引擎的。

C.混合搜索引擎

一种混合搜索引擎以传统的文字为导向，如谷歌搜索引擎，如雅虎目录搜索为基础的搜索引擎，其中每个方案比较操作的元数据集不同，当其元数据的主要资

料来自一个网络爬虫或分类分析所有互联网文字和用户的搜索查询。与此相反，混合搜索引擎可能有一个或多个元数据集，例如，包括来自客户端的网络元数据，将所得的情境模型中的客户端上下文元数据俩认识这两个机构。

4.爬虫的工作原理

网络爬虫是搜索引擎必不可少的组成部分：运行一个网络爬虫是一个极具挑战的任务。有技术和可靠性问题，更重要的是有社会问题。爬虫是最脆弱的应用程序，因为它涉及到交互的几百几千个Web服务器和各种域名服务器，这些都超出了系统的控制。网页检索速度不仅由一个人的自己互联网连接速度有关，同时也受到了要抓取的网站的速度。特别是如果一个是从多个服务器抓取的网站，总爬行时间可以大大减少，如果许多下载是并行完成。虽然有众多的网络爬虫应用程序，他们在核心内容上基本上是相同的。以下是应用程序网络爬虫的工作过程：1）下载网页

2）通过下载的页面解析和检索所有的联系

3）对于每一个环节检索，重复这个过程。

网络爬虫可用于通过对完整的网站的局域网进行抓取。

可以指定一个启动程序爬虫跟随在HTML页中找到所有链接。这通常导致更多的链接，这之后将再次跟随，等等。一个网站可以被视为一个树状结构看，根本是启动程序，在这根的HTML页的所有链接是根子链接。随后循环获得更多的链接。

一个网页服务器提供若干网址清单给爬虫。网络爬虫开始通过解析一个指定的网页，标注该网页指向其他网站页面的超文本链接。然后他们分析这些网页之间新的联系，等等循环。网络爬虫软件不实际移动到各地不同的互联网上的电脑，而是像电脑病毒一样通过智能代理进行。每个爬虫每次大概打开大约300个链接。这是索引网页必须的足够快的速度。一个爬虫互留在一个机器。爬虫只是简单的将HTTP请求的文件发送到互联网的其他机器，就像一个网上浏览器的链接，当用户点击。所有的爬虫事实上是自动化追寻链接的过程。网页检索可视为一个队列处理的项目。当检索器访问一个网页，它提取到其他网页的链接。因此，爬虫置身于这些网址的一个队列的末尾，并继续爬行到下一个页面，然后它从队列前面删除。

A.资源约束

爬行消耗资源：下载页面的带宽，支持私人数据结构存储的内存，来评价和选择网址的CPU，以及存储文本和链接以及其他持久性数据的磁盘存储。

B.机器人协议

机器人文件给出排除一部分的网站被抓取的指令。类似地，一个简单的文本文件可以提供有关的新鲜和出版对象的流行信息。对信息允许抓取工具优化其收集的数据刷新策略以及更换对象的政策。

C.元搜索引擎

一个元搜索引擎是一种没有它自己的网页数据库的搜索引擎。它发出的搜索支持其他搜索引擎所有的数据库，从所有的搜索引擎查询并为用户提供的结果。较少的元搜索可以让您深入到最大，最有用的搜索引擎数据库。他们往往返回最小或免费的搜索引擎和其他免费目录并且通常是小和高度商业化的结果。

5.爬行技术

A：主题爬行

一个通用的网络爬虫根据一个URL的特点设置来收集网页。凡为主题爬虫的设计有一个特定的主题的文件，从而减少了网络流量和下载量。主题爬虫的目标是有选择地寻找相关的网页的主题进行预先定义的设置。指定的主题不使用关键字，但使用示范文件。

不是所有的收集和索引访问的Web文件能够回答所有可能的特殊查询，有一个主题爬虫爬行分析其抓起边界，找到链接，很可能是最适合抓取相关，并避免不相关的区域的Web。

这导致在硬件和网络资源极大地节省，并有助于于保持在最新状态的数据。主题爬虫有三个主要组成部分一个分类器，这能够判断相关网页，决定抓取链接的拓展，过滤器决定过滤器抓取的网页，以确定优先访问中心次序的措施，以及均受量词和过滤器动态重新配置的优先的控制的爬虫。

最关键的评价是衡量主题爬行收获的比例，这是在抓取过程中有多少比例相关网页被采用和不相干的网页是有效地过滤掉，这收获率最高，否则主题爬虫会花很多时间在消除不相关的网页，而且使用一个普通的爬虫可能会更好。

B:分布式检索

检索网络是一个挑战，因为它的成长性和动态性。随着网络规模越来越大，已经称为必须并行处理检索程序，以完成在合理的时间内下载网页。一个单一的检索程序，即使在是用多线程在大型引擎需要获取大量数据的快速上也存在不足。当一个爬虫通过一个单一的物理链接被所有被提取的数据所使用，通过分配多种抓取活动的进程可以帮助建立一个可扩展的易于配置的系统，它具有容错性的系统。拆分负载降低硬件要求，并在同一时间增加整体下载速度和可靠性。每个任务都是在一个完全分布式的方式，也就是说，没有中央协调器的存在。

6、挑战更多“有趣”对象的问题

搜索引擎被认为是一个热门话题，因为它收集用户查询记录。检索程序优先抓取网站根据一些重要的度量，例如相似性（对有引导的查询），返回链接数网页排名或者其他组合/变化最精Najork等。表明，首先考虑广泛优先搜索收集高品质页面，并提出一种网页排名。然而，目前，搜索策略是无法准确选择“最佳”路径，因为他们的认识仅仅是局部的。由于在互联网上可得到的信息数量非常庞大目前不可能实现全面的索引。因此，必须采用剪裁策略。主题爬行和智能检索，是发现相关的特定主题或主题集网页技术。

结论

在本文中，我们得出这样的结论实现完整的网络爬行覆盖是不可能实现，因为受限于整个万维网的巨大规模和资源的可用性。通常是通过一种阈值的设置（网站访问人数，网站上树的水平，与主题等规定），以限制对选定的网站上进行抓取的过程。此信息是在搜索引擎可用于存储/刷新最相关和最新更新的网页，从而提高检索的内容质量，同时减少陈旧的内容和缺页。

原文：

Discussion on Web Crawlers of Search Engine

Abstract-With the precipitous expansion of the Web,extracting knowledge from the Web is becoming gradually important and popular.This is due to the Web?s convenience and richness of information.To find Web pages, one typically uses search engines that are based on the Web crawling framework.This paper describes the basic task performed search engine.Overview of how the Web crawlers are related with search engine.

Keywords Distributed Crawling, Focused Crawling,Web Crawlers

Ⅰ.INTRODUCTION

WWW on the Web is a service that resides on computers that are connected to the Internet and allows end users to access data that is stored on the computers using standard interface software. The World Wide Web is the universe of

network-accessible information,an embodiment of human knowledge.

Search engine is a computer program that searches for particular keywords and returns a list of documents in which they were found,especially a commercial service that scans documents on the Internet. A search engine finds information for its database by accepting listings sent it by authors who want exposure,or by getting the information from their “Web crawlers,””spiders,” or “robots,”programs that roam the Internet storing links to and information about each page they visit.

Web Crawler is a program, which fetches information from the World Wide Web in an automated manner.Web crawling is an important research issue. Crawlers are software components, which visit portions of Web trees, according to certain strategies,and collect retrieved objects in local repositories.

The rest of the paper is organized as: in Section 2 we explain the background details of Web crawlers.In Section 3 we discuss on types of crawler, in Section 4 we will explain the working of Web crawler. In Section 5 we cover the two advanced techniques of Web crawlers. In the Section 6 we discuss the problem of selecting more interesting pages.

Ⅱ.SURVEY OF WEB CRAWLERS

Web crawlers are almost as old as the Web itself.The first crawler,Matthew Gray?s Wanderer, was written in the spring of 1993,roughly coinciding with the first release Mosaic.Several papers about Web crawling were presented at the first two World Wide Web conference.However,at the time, the Web was three to four orders of magnitude smaller than it is today,so those systems did not address the scaling problems inherent in a crawl of today?s Web.

Obviously, all of the popular search engines use crawlers that must scale up to substantial portions of the Web. However, due to the competitive nature of the search engine business, the designs of these crawlers have not been publicly described. There are two notable exceptions:the Goole crawler and the Internet Archive crawler.Unfortunately,the descriptions of these crawlers in the literature are too terse to enable reproducibility.

The original Google crawler (developed at Stanford) consisted of five functional components running in different processes. A URL server process read URLs out of a file and forwarded them to multiple crawler processes.Each crawler process ran on a different machine,was single-threaded,and used asynchronous I/O to fetch data from up to 300 Web servers in parallel. The crawlers transmitted downloaded pages to a single Store Server process, which compressed the pages and stored them to disk.The page were then read back from disk by an indexer process, which extracted links from HTML pages and saved them to a different disk file. A URLs resolver process read the link file, relative the URLs contained there in, and saved the absolute URLs to the disk file that was read by the URL server. Typically,three to four crawler machines were used, so the entire system required between four and eight machines. Research on Web crawling continues at Stanford even after Google has been

transformed into a commercial effort.The Stanford Web Base project has implemented a high performance distributed crawler,capable of downloading 50 to 100 documents per second.Cho and others have also developed models of documents update frequencies to inform the download schedule of incremental crawlers.

The Internet Archive also used multiple machines to crawl the Web.Each crawler process was assigned up to 64 sites to crawl, and no site was assigned to more than one crawler.Each single-threaded crawler process read a list of seed URLs for its assigned sited from disk int per-site queues,and then used asynchronous I/O to fetch pages from these queues in parallel. Once a page was downloaded, the crawler extracted the links contained in it.If a link referred to the site of the page it was contained in, it was added to the appropriate site queue;otherwise it was logged to disk .Periodically, a batch process merged these logged “cross-sit” URLs into the

site--specific seed sets, filtering out duplicates in the process.

The Web Fountain crawler shares several of Mercator?s characteristics:it is distributed,continuous(the authors use the term”incremental”),polite, and configurable.Unfortunately,as of this writing,Web Fountain is in the early stages of its development, and data about its performance is not yet available.

Ⅲ.BASIC TYPESS OF SEARCH ENGINE

A.Crawler Based Search Engines

Crawler based search engines create their listings https://www.360docs.net/doc/2f15588664.html,puter programs …spider? build them not by human selection. They are not organized by subject categories; a computer algorithm ranks all pages. Such kinds of search engines are huge and often retrieve a lot of information -- for complex searches it allows to search within the results of a previous search and enables you to refine search results. These types of search engines contain full text of the Web pages they link to .So one cann find pages by matching words in the pages one wants;

B. Human Powered Directories

These are built by human selection i.e. They depend on humans to create listings. They are organized into subject categories and subjects do classification of

pages.Human powered directories never contain full text of the Web page they link

to .They are smaller than most search engines.

C.Hybrid Search Engine

A hybrid search engine differs from traditional text oriented search engine such as Google or a directory-based search engine such as Yahoo in which each program operates by comparing a set of meta data, the primary corpus being the meta data derived from a Web crawler or taxonomic analysis of all internet text,and a user search query.In contrast, hybrid search engine may use these two bodies of meta data in addition to one or more sets of meta data that can, for example, include situational meta data derived from the client?s network that would model the context awareness of the client.

Ⅳ.WORKING OF A WEB CRAWLER

Web crawlers are an essential component to search engines;running a Web crawler is a challenging task.There are tricky performance and reliability issues and even more importantly, there are social issues. Crawling is the most fragile application since it involves interacting with hundreds of thousands of Web servers and various name servers, which are all beyond the control of the system. Web crawling speed is governed not only by the speed of one?s own Internet connection ,but also by the speed of the sites that are to be crawled.Especially if one is a crawling site from multiple servers, the total crawling time can be significantly reduced,if many downloads are done in parallel.

Despite the numerous applications for Web crawlers,at the core they are all fundamentally the same. Following is the process by which Web crawlers work:

1.Download the Web page.

2.Parse through the downloaded page and retrieve all the links.

3.For each link retrieved,repeat the process.

The Web crawler can be used for crawling through a whole site on the

Inter-/Intranet.

You specify a start-URL and the Crawler follows all links found in that HTML page.This usually leads to more links,which will be followed again, and so on.A site can be seen as a tree-structure,the root is the start-URL;all links in that

土木工程类专业英文文献及翻译

PA VEMENT PROBLEMS CAUSED BY COLLAPSIBLE SUBGRADES By Sandra L. Houston,1 Associate Member, ASCE (Reviewed by the Highway Division) ABSTRACT: Problem subgrade materials consisting of collapsible soils are com- mon in arid environments, which have climatic conditions and depositional and weathering processes favorable to their formation. Included herein is a discussion of predictive techniques that use commonly available laboratory equipment and testing methods for obtaining reliable estimates of the volume change for these problem soils. A method for predicting relevant stresses and corresponding collapse strains for typical pavement subgrades is presented. Relatively simple methods of evaluating potential volume change, based on results of familiar laboratory tests, are used. INTRODUCTION When a soil is given free access to water, it may decrease in volume, increase in volume, or do nothing. A soil that increases in volume is called a swelling or expansive soil, and a soil that decreases in volume is called a collapsible soil. The amount of volume change that occurs depends on the soil type and structure, the initial soil density, the imposed stress state, and the degree and extent of wetting. Subgrade materials comprised of soils that change volume upon wetting have caused distress to highways since the be- ginning of the professional practice and have cost many millions of dollars in roadway repairs. The prediction of the volume changes that may occur in the field is the first step in making an economic decision for dealing with these problem subgrade materials. Each project will have different design considerations, economic con- straints, and risk factors that will have to be taken into account. However, with a reliable method for making volume change predictions, the best design relative to the subgrade soils becomes a matter of economic comparison, and a much more rational design approach may be made. For example, typical techniques for dealing with expansive clays include: (1) In situ treatments with substances such as lime, cement, or fly-ash; (2) seepage barriers and/ or drainage systems; or (3) a computing of the serviceability loss and a mod- ification of the design to "accept" the anticipated expansion. In order to make the most economical decision, the amount of volume change (especially non- uniform volume change) must be accurately estimated, and the degree of road roughness evaluated from these data. Similarly, alternative design techniques are available for any roadway problem. The emphasis here will be placed on presenting economical and simple methods for: (1) Determining whether the subgrade materials are collapsible; and (2) estimating the amount of volume change that is likely to occur in the 'Asst. Prof., Ctr. for Advanced Res. in Transp., Arizona State Univ., Tempe, AZ 85287. Note. Discussion open until April 1, 1989. To extend the closing date one month,

土木工程外文翻译

转型衰退时期的土木工程研究 Sergios Lambropoulosa[1], John-Paris Pantouvakisb, Marina Marinellic 摘要最近的全球经济和金融危机导致许多国家的经济陷入衰退，特别是在欧盟的周边。这些国家目前面临的民用建筑基础设施的公共投资和私人投资显著收缩，导致在民事特别是在民用建筑方向的失业。因此，在所有国家在经济衰退的专业发展对于土木工程应届毕业生来说是努力和资历的不相称的研究，因为他们很少有机会在实践中积累经验和知识，这些逐渐成为过时的经验和知识。在这种情况下，对于技术性大学在国家经济衰退的计划和实施的土木工程研究大纲的一个实质性的改革势在必行。目的是使毕业生拓宽他们的专业活动的范围，提高他们的就业能力。在本文中，提出了土木工程研究课程的不断扩大，特别是在发展的光毕业生的潜在的项目，计划和投资组合管理。在这个方向上，一个全面的文献回顾，包括ASCE体为第二十一世纪，IPMA的能力的基础知识，建议在其他：显著增加所提供的模块和项目管理在战略管理中添加新的模块，领导行为，配送管理，组织和环境等；提供足够的专业训练五年的大学的研究；并由专业机构促进应届大学生认证。建议通过改革教学大纲为土木工程研究目前由国家技术提供了例证雅典大学。 1引言土木工程研究（CES）蓬勃发展，是在第二次世界大战后。土木工程师的出现最初是由重建被摧毁的巨大需求所致，目的是更多和更好的社会追求。但是很快，这种演变一个长期的趋势，因为政府为了努力实现经济发展，采取了全世界的凯恩斯主义的理论，即公共基础设施投资作为动力。首先积极的结果导致公民为了更好的生活条件（住房，旅游等）和增加私人投资基础设施而创造机会。这些现象再国家的发展中尤为为明显。虽然前景并不明朗（例如，世界石油危机在70年代），在80年代领先的国家采用新自由主义经济的方法（如里根经济政策），这是最近的金融危机及金融危机造成的后果（即收缩的基础设施投资，在技术部门的高失业率），消除发展前途无限的误区。技术教育的大学所认可的大量研究土木工程部。旧学校拓展专业并且新的学校建成，并招收许多学生。由于高的职业声望，薪酬，吸引高质量的学校的学生。在工程量的增加和科学技术的发展，导致到极强的专业性，无论是在研究还是工作当中。结构工程师，液压工程师，交通工程师等，都属于土木工程。试图在不同的国家采用专业性的权利，不同的解决方案，，从一个统一的大学学历和广泛的专业化的一般职业许可证。这个问题在许多其他行业成为关键。国际专业协会的专家和机构所确定的国家性检查机构，经过考试后，他们证明不仅是行业的新来者，而且专家通过时间来确定进展情况。尽管在很多情况下，这些证书虽然没有国家接受，他们赞赏和公认的世界。在试图改革大学研究（不仅在土木工程）更接近市场需求的过程中，欧盟确定了1999博洛尼亚宣言，它引入了一个二能级系统。第一级度（例如，一个三年的学士）是进入

毕设开题报告-及开题报告分析

开题报告如何写注意点１.一、对指导教师下达的课题任务的学习与理解这部分主要是阐述做本课题的重要意义２.二、阅读文献资料进行调研的综述这部分就是对课题相关的研究的综述落脚于本课题解决了那些关键问题 3．三、根据任务书的任务及文件调研结果，初步拟定执行实施的方案(含具体进度计划) 这部分重点写具体实现的技术路线方案的具体实施方法和步骤了，具体进度计划只是附在后面的东西不是重点

南京邮电大学通达学院毕业设计(论文）开题报告

文献[5] 基于信息数据分析的微博研究综述[J]；研究微博信息数据的分析,在这类研究中，大多数以微博消息传播的三大构件---微博消息、用户、用户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容,目的在于发祥微博中用户、消息传博、热点话题、用户关系网络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果，掌握了微博中的大量特征。该文献从微博消息传播三大构件的角度，对当前基于信息数据分析的微博研究进行系统梳理，提出微博信息传播三大构件的概念,归纳了此类研究的主要研究内容及方法。对于大多用户提出的与主题或领域相关的查询需求，传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。文献[６]综述了聚焦爬虫技术的研究。其中介绍并分析了聚焦爬虫中的关键技术：抓取目标定义与描述，网页分析算法和网页分析策略，并根据网络拓扑、网页数据内容、用户行为等方面将各种网页分析算法做了分类和比较。聚焦爬虫能够克服通用爬虫的不足之处。文献[７]首先介绍了网络爬虫工作原理，传统网络爬虫的实现过程，并对网络爬虫中使用的关键技术进行了研究,包括网页搜索策略、URＬ去重算法、网页分析技术、更新策略等。然后针对微博的特点和Ajaｘ技术的实现方法,指出传统网络爬虫的不足,以及信息抓取的技术难点,深入分析了现有的基于Ａjaｘ的网络爬虫的最新技术——通过模拟浏览器行为,触发JavaScript事件（如cｌiｃk, oｎmｏuseo ｖer等)，解析JavａSｃripｔ脚本，动态更新网页DOＭ树，抽取网页中的有效信息。最后,详细论述了面向ＳNS网络爬虫系统的设计方案，整体构架,以及各功能模块的具体实现。面向微博的网络爬虫系统的实现是以新浪微博作为抓取的目标网站。结合新浪微博网页的特点,通过模拟用户行为,解析JavaSc ｒipt,建立DＯＭ树来获取网页动态信息,并按照一定的规则提取出网页中的URL和有效信息，并将有效信息存入数据库。本系统成功的实现了基于Ajax技术的网页信息的提取。文献[８］引入网页页面分析技术和主题相关性分析技术,解决各大网站微博相继提供了抓取微博的AＰI，这些APＩ都有访问次数的限制，无法满足获取大量微博数据的要求,同时抓取的数据往往很杂乱的问题。展开基于主题的微博网页爬虫的研究与设计。本文的主要工作有研究分析网页页面分析技术，根据微博页面特点选择微博页面信息获取方法；重点描述基于“剪枝”的广度优先搜索策略的思考以及设计的详细过程，着重解决URL的去重、ＵRL地址集合动态变化等问题;研究分析短文本主题抽取技术以及多关键匹配技术,确定微博主题相关性分析的设计方案；最后设计实现基于主题的微博网页爬虫的原型系统,实时抓取和存储微博数据。本文研究的核心问题是,根据微博数据的特点设计一种基于“剪枝”的广度优先搜索策略,并将其应用到微博爬虫中；同时使用微博页面分析技术使得爬虫不受微博平台API限制,从而让用户尽可能准确地抓取主题相关的微博数据。通过多次反复实验获取原型系统实验结果，将实验结果同基于APＩ微博爬虫和基于网页微博爬虫的抓取效果进行对比分析得出结论:本文提出的爬行策略能够抓取主题相关的微博数据,虽然在效率上有所降低,但在抓取的微博数据具有较好的主题相关性。这实验结果证明本论文研究的实现方案是可行的。文献[９]阐述了基于ajax的web应用程序的爬虫和用户界面状态改变的动态分析的过程和思路。文献[10]对于全球社交网络Twｉtter,设计并实现了,一个爬虫系统,从另一个角度阐明了Pｙtｈon在编写爬虫这个方面的强大和快速。仅仅用少量的代码就能实现爬虫系统，并且再强大的社交网站也可

指纹识别系统(文献综述)

指纹识别方法的综述摘要: 对在指纹的预处理和特征提取、指纹分类、指纹的匹配过程中的方向图、滤波器、神经网络等关键性原理和技术做了详细的说明,并对在各个过程中用到的方法做了进一步的比较,讨论了各种方法的优越性。 0 引言自动指纹识别是上世纪六十年代兴起的,利用计算机取代人工来进行指纹识别的一种方法。近年来,随着计算机技术的飞速发展,低价位指纹采集仪的出现以及高可靠算法的实现,更使得自动指纹识别技术越来越多地进入到人们的生活和工作中,自动指纹识别系统的研究和开发正在成为国内外学术界和商业界的热点。相对于其他生物特征鉴别技术例如语音识别及虹膜识别,指纹识别具有许多独到的优点,更重要的是它具有很高的实用性和可行性,已经被认为是一种理想的身份认证技术,有着十分广泛的应用前景,是将来生物特征识别技术的主流。 1 指纹取像图 1 是一个自动指纹识别系统AFIS(Automated Fingerprint Identification System) 的简单流程。 → → → ↓ ↑ ———— 将一个人的指纹采集下来输入计算机进行处理是指纹自动识别的首要步骤。指纹图像的获取主要利用设备取像,方便实用,比较适合AFIS 。利用设备取像的主要方法又利用光学设备、晶体传感器和超声波来进行。光学取像设备是根据光的全反射原理来设计的。晶体传感器取像是根据谷线和脊线皮肤与传感器之间距离不同而产生的电容不同来设计的。超声波设备取像也是采用光波来取像,但由于超声波波长较短,抗干扰能力较强,所以成像的质量非常好。 2 图像的预处理与特征提取无论采取哪种方法提取指纹,总会给指纹图像带来各种噪声。预处理的目的就是去除图像中的噪音,把它变成一幅清晰的点线图,以便于提取正确的指纹特征。预处理是指纹自动识别过程的第一步, 它的好坏直接影响着指纹识别的效果。常用的预处理与特征提取( Image Preprocessing and Feature Ex 2 t raction) 方法的主要步骤包括方向图计算、图像滤波、二值化、细化、提取特征和后处理。当然这些步骤可以根据系统和应用的具体情况再进行适当变化。文献[ 1 ]提出了基于脊线跟踪的方法能够指纹取像图像预处理特征提取指纹识别数据库管理

计算机网络安全文献综述

计算机网络安全综述学生姓名：李嘉伟学号：11209080279 院系：信息工程学院指导教师姓名：夏峰二零一三年十月

［摘要］随着计算机网络技术的快速发展，网络安全日益成为人们关注的焦点。本文分析了影响网络安全的主要因素及攻击的主要方式，从管理和技术两方面就加强计算机网络安全提出了针对性的建议。［关键词］计算机网络；安全；管理；技术；加密；防火墙一．引言计算机网络是一个开放和自由的空间，但公开化的网络平台为非法入侵者提供了可乘之机，黑客和反黑客、破坏和反破坏的斗争愈演愈烈，不仅影响了网络稳定运行和用户的正常使用，造成重大经济损失，而且还可能威胁到国家安全。如何更有效地保护重要的信息数据、提高计算机网络的安全性已经成为影响一个国家的政治、经济、军事和人民生活的重大关键问题。本文通过深入分析网络安全面临的挑战及攻击的主要方式，从管理和技术两方面就加强计算机网络安全提出针对性建议。

二．正文 1.影响网络安全的主要因素［1］计算机网络安全是指“为数据处理系统建立和采取的技术和管理的安全保护，保护计算机硬件、软件数据不因偶然和恶意的原因而遭到破坏、更改和泄漏”。计算机网络所面临的威胁是多方面的，既包括对网络中信息的威胁，也包括对网络中设备的威胁，但归结起来，主要有三点：一是人为的无意失误。如操作员安全配置不当造成系统存在安全漏洞，用户安全意识不强，口令选择不慎，将自己的帐号随意转借他人或与别人共享等都会给网络安全带来威胁。二是人为的恶意攻击。这也是目前计算机网络所面临的最大威胁，比如敌手的攻击和计算机犯罪都属于这种情况，此类攻击又可以分为两种：一种是主动攻击，它以各种方式有选择地破坏信息的有效性和完整性；另一类是被动攻击，它是在不影响网络正常工作的情况下，进行截获、窃取、破译以获得重要机密信息。这两种攻击均可对计算机网络造成极大的危害，并导致机密数据的泄漏。三是网络软件的漏洞和“后门”。任何一款软件都或多或少存在漏洞，这些缺陷和漏洞恰恰就是黑客进行攻击的首选目标。绝大部分网络入侵事件都是因为安全措施不完善，没有及时补上系统漏洞造成的。此外，软件公司的编程人员为便于维护而设置的软件“后门”也是不容忽视的巨大威胁，一旦“后门”洞开，别人就能随意进入系统，后果不堪设想。

网络爬虫外文翻译

外文资料 ABSTRACT Crawling the web is deceptively simple: the basic algorithm is (a)Fetch a page (b) Parse it to extract all linked URLs (c) For all the URLs not seen before, repeat (a)–(c). However, the size of the web (estimated at over 4 billion pages) and its rate of change (estimated at 7% per week) move this plan from a trivial programming exercise to a serious algorithmic and system design challenge. Indeed, these two factors alone imply that for a reasonably fresh and complete crawl of the web, step (a) must be executed about a thousand times per second, and thus the membership test (c) must be done well over ten thousand times per second against a set too large to store in main memory. This requires a distributed architecture, which further complicates the membership test. A crucial way to speed up the test is to cache, that is, to store in main memory a (dynamic) subset of the “seen” URLs. The main goal of this paper is to carefully investigate several URL caching techniques for web crawling. We consider both practical algorithms: random replacement, static cache, LRU, and CLOCK, and theoretical limits: clairvoyant caching and infinite cache. We performed about 1,800 simulations using these algorithms with various cache sizes, using actual log data extracted from a massive 33 day web crawl that issued over one billion HTTP requests. Our main conclusion is that caching is very effective – in our setup, a cache of roughly 50,000 entries can achieve a hit rate of almost 80%. Interestingly, this cache size falls at a critical point: a substantially smaller cache is much less effective while a substantially larger cache brings little additional benefit. We conjecture that such critical points are inherent to our problem and venture an explanation for this phenomenon. 1. INTRODUCTION A recent Pew Foundation study [31] states that “Search eng ines have become an indispensable utility for Internet users” and estimates that as of mid-2002, slightly

土木工程岩土类毕业设计外文翻译

姓名：学号： 10447425 X X 大学毕业设计（论文）外文翻译（2014届）外文题目Developments in excavation bracing systems 译文题目开挖工程支撑体系的发展外文出处Tunnelling and Underground Space Technology 31 (2012) 107–116 学生XXX 学院XXXX 专业班级XXXXX 校内指导教师XXX 专业技术职务XXXXX 校外指导老师专业技术职务二○一三年十二月

开挖工程支撑体系的发展 1.引言几乎所有土木工程建设项目（如建筑物，道路，隧道，桥梁，污水处理厂，管道，下水道）都涉及泥土挖掘的一些工程量。往往由于由相邻的结构，特性线，或使用权空间的限制，必须要一个土地固定系统，以允许土壤被挖掘到所需的深度。历史上，许多挖掘支撑系统已经开发出来。其中，现在比较常见的几种方法是：板桩，钻孔桩墙，泥浆墙。土地固定系统的选择是由技术性能要求和施工可行性（例如手段，方法）决定的，包括执行的可靠性，而成本考虑了这些之后，其他问题也得到解决。通常环境后果（用于处理废泥浆和钻井液如监管要求）也非常被关注（邱阳、1998）。土地固定系统通常是建设项目的较大的一个组成部分。如果不能按时完成项目，将极大地影响总成本。通常首先建造支撑，在许多情况下，临时支撑系统是用于支持在挖掘以允许进行不断施工，直到永久系统被构造。临时系统可以被去除或留在原处。打桩时，因撞击或振动它们可能会被赶入到位。在一般情况下，振动是最昂贵的方法，但只适合于松散颗粒材料，土壤中具有较高电阻（例如，通过鹅卵石）的不能使用。采用打入桩系统通常是中间的成本和适合于软沉积物（包括粘性和非粘性），只要该矿床是免费的鹅卵石或更大的岩石。通常，垂直元素（例如桩）的前安装挖掘工程和水平元件（如内部支撑或绑回）被安装为挖掘工程的进行下去，从而限制了跨距长度，以便减少在垂直开发弯矩元素。在填充情况下，桩可先设置，从在斜坡的底部其嵌入悬挑起来，安装作为填充进步水平元素（如搭背或土钉）。如果滞后是用来保持垂直元素之间的土壤中，它被安装为挖掘工程的进行下去，或之前以填补位置。吉尔- 马丁等人（2010）提供了一个数值计算程序，以获取圆形桩承受轴向载荷和统一标志（如悬臂桩）的单轴弯矩的最佳纵筋。他们开发的两种优化流程：用一个或两个直径为纵向钢筋。优化增强模式允许大量减少的设计要求钢筋的用量，这些减少纵向钢筋可达到50％相对传统的，均匀分布的加固方案。加固桩集中纵向钢筋最佳的位置在受拉区。除了节约钢筋，所述非对称加强钢筋图案提高抗弯刚度，通过增加转动惯量的转化部分的时刻。这种增加的刚性可能会在一段时间内增加的变形与蠕变相关的费用。评估相对于传统的非对称加强桩的优点，对称，钢筋桩被服务的条件下全面测试来完成的，这种试验是为了验证结构的可行性和取得的变形的原位测量。基于现场试验中，用于优化的加强图案的优点浇铸钻出孔（CIDH）在巴塞罗那的

土木工程外文翻译.doc

项目成本控制一、引言项目是企业形象的窗口和效益的源泉。随着市场竞争日趋激烈，工程质量、文明施工要求不断提高，材料价格波动起伏，以及其他种种不确定因素的影响，使得项目运作处于较为严峻的环境之中。由此可见项目的成本控制是贯穿在工程建设自招投标阶段直到竣工验收的全过程，它是企业全面成本管理的重要环节，必须在组织和控制措施上给于高度的重视，以期达到提高企业经济效益的目的。二、概述工程施工项目成本控制，指在项目成本在成本发生和形成过程中，对生产经营所消耗的人力资源、物资资源和费用开支，进行指导、监督、调节和限制，及时预防、发现和纠正偏差从而把各项费用控制在计划成本的预定目标之内，以达到保证企业生产经营效益的目的。三、施工企业成本控制原则施工企业的成本控制是以施工项目成本控制为中心，施工项目成本控制原则是企业成本管理的基础和核心，施工企业项目经理部在对项目施工过程进行成本控制时，必须遵循以下基本原则。 3.1 成本最低化原则。施工项目成本控制的根本目的，在于通过成本管理的各种手段，促进不断降低施工项目成本，以达到可能实现最低的目标成本的要求。在实行成本最低化原则时，应注意降低成本的可能性和合理的成本最低化。一方面挖掘各种降低成本的能力，使可能性变为现实；另一方面要从实际出发，制定通过主观努力可能达到合理的最低成本水平。 3.2 全面成本控制原则。全面成本管理是全企业、全员和全过程的管理，亦称“三全”管理。项目成本的全员控制有一个系统的实质性内容，包括各部门、各单位的责任网络和班组经济核算等等，应防止成本控制人人有责，人人不管。项目成本的全过程控制要求成本控制工作要随着项目施工进展的各个阶段连续进行，既不能疏漏，又不能时紧时松，应使施工项目成本自始至终置于有效的控制之下。 3.3 动态控制原则。施工项目是一次性的，成本控制应强调项目的中间控制，即动态控制。因为施工准备阶段的成本控制只是根据施工组织设计的具体内容确

虹膜识别外文翻译文献

虹膜识别外文翻译文献虹膜识别外文翻译文献 (文档含中英文对照即英文原文和中文翻译) 外文： The first chapter 1.1 The research background of iris recognition Biometrics is a technology for personal identification using physiological characteristics and behavior characteristics inherent in the human body. Can be used for the biological characteristics of biological recognition, fingerprint, hand type face, iris, retina, pulse, ear etc.. Behavior has the following characteristics: signature, voice, gait, etc.. Based on these characteristics, it has been the development of hand shape recognition, fingerprint recognition, facial recognition, iris recognition, signature recognition and other biometric technology, many techniques have been formed and mature to application of. Biological recognition technology in a , has a long history, the ancient Egyptians through identification of each part of the body size measure to carry out identity may be the earliest human based on the earliest history of biometrics. But the modern biological recognition technology began in twentieth Century 70 time metaphase, as biometric devices early is relatively expensive, so only a higher security level atomic test, production base.due to declining cost of microprocessor and various electronic components, precision gradually improve, control device of a biological recognition technology has been gradually applied to commerce authorized, such as access control, attendance management, management system, safety certification field etc.. All biometric technology, iris recognition is currently used as a convenient and accurate.

网络安全外文翻译文献

网络安全外文翻译文献 (文档含英文原文和中文翻译) 翻译：计算机网络安全与防范 1.1引言计算机技术的飞速发展提供了一定的技术保障，这意味着计算机应用已经渗透到社会的各个领域。在同一时间，巨大的进步和网络技术的普及，社会带来了巨大的经济利润。然而，在破坏和攻击计算机信息系统的方法已经改变了很多的网络环境下，网络安全问题逐渐成为计算机安全的主流。

1.2网络安全 1.2.1计算机网络安全的概念和特点计算机网络的安全性被认为是一个综合性的课题，由不同的人，包括计算机科学、网络技术、通讯技术、信息安全技术、应用数学、信息理论组成。作为一个系统性的概念，网络的安全性由物理安全、软件安全、信息安全和流通安全组成。从本质上讲，网络安全是指互联网信息安全。一般来说，安全性、集成性、可用性、可控性是关系到网络信息的相关理论和技术，属于计算机网络安全的研究领域。相反，狭隘“网络信息安全”是指网络安全，这是指保护信息秘密和集成，使用窃听、伪装、欺骗和篡夺系统的安全性漏洞等手段，避免非法活动的相关信息的安全性。总之，我们可以保护用户利益和验证用户的隐私。计算机网络安全有保密性、完整性、真实性、可靠性、可用性、非抵赖性和可控性的特点。隐私是指网络信息不会被泄露给非授权用户、实体或程序，但是授权的用户除外，例如，电子邮件仅仅是由收件人打开，其他任何人都不允许私自这样做。隐私通过网络信息传输时，需要得到安全保证。积极的解决方案可能会加密管理信息。虽然可以拦截，但它只是没有任何重要意义的乱码。完整性是指网络信息可以保持不被修改、破坏，并在存储和传输过程中丢失。诚信保证网络的真实性，这意味着如果信息是由第三方或未经授权的人检查，内容仍然是真实的和没有被改变的。因此保持完整性是信息安全的基本要求。可靠性信息的真实性主要是确认信息所有者和发件人的身份。可靠性表明该系统能够在规定的时间和条件下完成相关的功能。这是所有的网络信息系统的建立和运作的基本目标。可用性表明网络信息可被授权实体访问，并根据自己的需求使用。不可抵赖性要求所有参加者不能否认或推翻成品的操作和在信息传输过程中的承诺。

土木工程专业外文文献及翻译

（二〇一二年六月外文文献及翻译题目： About Buiding on the Structure Design 学生姓名：学院：土木工程学院系别：建筑工程系专业：土木工程(建筑工程方向) 班级：土木08-4班指导教师：

英文原文： Building construction concrete crack of prevention and processing Abstract The crack problem of concrete is a widespread existence but again difficult in solve of engineering actual problem, this text carried on a study analysis to a little bit familiar crack problem in the concrete engineering, and aim at concrete the circumstance put forward some prevention, processing measure. Keyword:Concrete crack prevention processing Foreword Concrete's ising 1 kind is anticipate by the freestone bone, cement, water and other mixture but formation of the in addition material of quality brittleness not and all material.Because the concrete construction transform with oneself, control etc. a series problem, harden model of in the concrete existence numerous tiny hole, spirit cave and tiny crack, is exactly because these beginning start blemish of existence just make the concrete present one some not and all the characteristic of quality.The tiny crack is a kind of harmless crack and accept concrete heavy, defend Shen and a little bit other use function not a creation to endanger.But after the concrete be subjected to lotus carry, difference in temperature etc. function, tiny crack would continuously of expand with connect, end formation we can see without the

土木工程外文文献翻译

专业资料学院：专业：土木工程姓名：学号：外文出处：Structural Systems to resist (用外文写) Lateral loads 附件：1.外文资料翻译译文；2.外文原文。

附件1：外文资料翻译译文抗侧向荷载的结构体系常用的结构体系若已测出荷载量达数千万磅重，那么在高层建筑设计中就没有多少可以进行极其复杂的构思余地了。确实，较好的高层建筑普遍具有构思简单、表现明晰的特点。这并不是说没有进行宏观构思的余地。实际上，正是因为有了这种宏观的构思，新奇的高层建筑体系才得以发展，可能更重要的是：几年以前才出现的一些新概念在今天的技术中已经变得平常了。如果忽略一些与建筑材料密切相关的概念不谈，高层建筑里最为常用的结构体系便可分为如下几类： 1.抗弯矩框架。 2.支撑框架，包括偏心支撑框架。 3.剪力墙，包括钢板剪力墙。 4.筒中框架。 5.筒中筒结构。 6.核心交互结构。 7. 框格体系或束筒体系。特别是由于最近趋向于更复杂的建筑形式，同时也需要增加刚度以抵抗几力和地震力，大多数高层建筑都具有由框架、支撑构架、剪力墙和相关体系相结合而构成的体系。而且，就较高的建筑物而言，大多数都是由交互式构件组成三维陈列。将这些构件结合起来的方法正是高层建筑设计方法的本质。其结合方式需要在考虑环境、功能和费用后再发展，以便提供促使建筑发展达到新高度的有效结构。这并

不是说富于想象力的结构设计就能够创造出伟大建筑。正相反，有许多例优美的建筑仅得到结构工程师适当的支持就被创造出来了，然而，如果没有天赋甚厚的建筑师的创造力的指导，那么，得以发展的就只能是好的结构，并非是伟大的建筑。无论如何，要想创造出高层建筑真正非凡的设计，两者都需要最好的。虽然在文献中通常可以见到有关这七种体系的全面性讨论，但是在这里还值得进一步讨论。设计方法的本质贯穿于整个讨论。设计方法的本质贯穿于整个讨论中。抗弯矩框架抗弯矩框架也许是低，中高度的建筑中常用的体系，它具有线性水平构件和垂直构件在接头处基本刚接之特点。这种框架用作独立的体系，或者和其他体系结合起来使用，以便提供所需要水平荷载抵抗力。对于较高的高层建筑，可能会发现该本系不宜作为独立体系，这是因为在侧向力的作用下难以调动足够的刚度。我们可以利用STRESS，STRUDL 或者其他大量合适的计算机程序进行结构分析。所谓的门架法分析或悬臂法分析在当今的技术中无一席之地，由于柱梁节点固有柔性，并且由于初步设计应该力求突出体系的弱点，所以在初析中使用框架的中心距尺寸设计是司空惯的。当然，在设计的后期阶段，实际地评价结点的变形很有必要。支撑框架支撑框架实际上刚度比抗弯矩框架强，在高层建筑中也得到更广泛的应用。这种体系以其结点处铰接或则接的线性水平构件、垂直构件和斜撑构件而具特色，它通常与其他体系共同用于较高的建筑，并且作为一种独立的体系用在低、中高度的建筑中。

简析网络语言的文献综述

浅析网络语言的文献综述摘要语言是一种文化，一个民族要有文化前途，靠的是创新。从这个意义上说，新词语用过了些并不可怕，如果语言僵化，词汇贫乏，那才是真正的可悲。语汇系统如果只有基本词，永远稳稳当当，语言就没有生命力可言，因此，在规定一定的规范的同时，要允许歧疑的存在，但更要积极吸收那些脱离当时的规范而能促进语言的丰富和发展的成分。正确看待网络语言。关键字网络语言；因素；发展趋势；一、关于“网络语言”涵义及现状的研究 1.网络语言的涵义研究网络语言是一个有着多种理解的概念，既可以指称网络特有的言语表达方式，也可以指网络中使用的自然语言，还可以把网络中使用的所有符号全部包括在内。网络语言起初多指网络语言的研究现状（网络的计算机语言，又指网络上使用的有自己特点的自然语言。于根元，2001）。较早开展网络语言研究的劲松、麒可(2000)认为，广义的网络语言是与网络时代、e时代出现的与网络和电子技术有关的“另类语言”；狭义的网络语言指自称网民、特称网虫的语言。周洪波(2001)则认为，网络语言是指人们在网络交流中所使用的语言形式，大体上可分为三类：一是与网络有关的专业术语；二是与网络有关的特别用语；三是网民在聊天室和BBS上的常用词语。于根元(2003)指出，“网络语言”本身也是一个网络用语。起初多指网络的计算机语言，也指网络上使用的有自己特点的自然语言。现在一般指后者。狭义的网络语言指论坛和聊天室的具有特点的用语。何洪峰(2003)进一步指出，网络语言是指媒体所使用的语言，其基本词汇及语法结构形式还是全民使用的现代汉语，这是它的主体形式；二是指IT领域的专业用语，或是指与电子计算机联网或网络活动相关的名词术语；其三，狭义上是指网民所创造的一些特殊的信息符号。总的看来，研究者基本认为网络语言有广义、狭义两种含义，广义的网络语言主要指与网络有关的专业术语，狭义的网络语言主要指在聊天室和BBS上常用的词语和符号。 2. 网络语言的研究现状如：国人大常委会委员原国家教委副主任柳斌表示，网络语言的混乱，是对汉语纯洁性的破坏，语言文字工作者应对此类现象加以引导和批评。国家网络工程委会副秘书史自文表示，老师要引导学生使用网络语言。比如说在写出作文的时候，可以针对彩简单的网络语言还是用含义更有韵味的唐诗更好做一个主题研讨会，和学生一起探讨。这样就可以在理解、尊重学生的基础上进行引导。经过这样的过程，学生对于用何种语言形式多了一个选择，又加深了对传统文化的理解。如：北京教科院基教所研究员王晓春表示，在网络世界里用网络语言无可厚非。但在正式场合要引导学生不使用网络语言。在教学中老师要引导学生如何正