网络爬虫―利用SAS抓取网页方法.

万维网过多的信息, 股票报价, 电影评论, 市场价格趋势话题, 几乎所有的东西, 可以发现在点击一个按钮。在分析数据中发现,许多 SAS 用户感兴趣在网络上, 但你得到这个数据的 SAS 环境呢?有很多方法,如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用 SAS %TMFILTER 宏 ? 文本挖掘。在本文中,我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到 SAS 的信息, 以及审查内部所谓的 SAS 搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫, 以适应个性化需求, 以及如何具体的数据导入到 SAS ? 企业矿工?。

简介:互联网已经成为一个有用的信息来源。通常是 Web 上的数据, 我们要使用内的 SAS ,所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从 Web 爬行和提取信息的方法。您可以使用基本的SAS 数据步骤中的代码,或 SAS 文本矿工的%TMFILTER 宏。虽然目前无法使用, SAS 搜索管道将是一个功能强大的 Web 爬行产品, 并提供更多的工具, 网络爬行。每种方法都有其优点和缺点, 所以取决于你想实现抓取的, 它是最好对其进行审查。

首先, 重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码, 宏, 和 SAS 过程 PROC SQL,然后再继续。

网络爬虫概述:一个网络爬虫是一个程序,一个或多个起始地址作为“种子URL”,下载网站这些 URL 相关的网页,在网页中包含的任何超链接提取,并递归地继续这些超链接标识下载 Web 页。从概念上讲,网络爬虫是很简单的。一个 Web 履带式有四项职责:

1。从候选人中选择一个网址。

2。它下载相关的 Web 页。

3。它提取物在网页中的 URL (超链接。

4。它补充说,未曾遇到的候选集的 URL

方法 1:在 WEB SAS数据步骤中的代码履带式

首先创建一个网址的网站的 Web crawler将开始列表。

data work.links_to_crawl;

length url $256 ;

input url $;

datalines;

https://www.360docs.net/doc/a215331080.html,

https://www.360docs.net/doc/a215331080.html,

https://www.360docs.net/doc/a215331080.html,

;

run

为了确保我们不抓取相同的 URL 一次以上,持有环节已创建一个数据抓取。当Web 数据集将在开始时是空的, 但一个网站的网址将被添加到数据集履带式完成抓取该网站。

data work.links_crawled;

length url $256;

run;

现在我们开始爬行!该代码需要我们的 work.links_to_crawl数据集的第一个URL 。在第一观察“_N_式1”,网址是投入名为 next_url 宏变量,所有剩余的 URL 放回我们的种子 URL 数据集,使他们在未来的迭代。

/* pop the next url off */

%let next_url = ;

data work.links_to_crawl;

set work.links_to_crawl;

if _n_ eq 1 then call symput(“next_url”, url;

else output;

run;

现在, 从互联网上下载的网址。创建一个文件名称 _nexturl 。我们让 SAS 知道它是一个 URL 而且可以发现, AT &next_url,这是我们的宏观变量,它包含的网址我们从拉 work.links_to_crawl数据集。

/* crawl the url */

filename _nexturl url “&next_url”

建立后的文件名的 URL 参考, 确定一个地方把我们下载的文件。创建另一个文件名引用所谓 htmlfilm的条目,并在那里把从 url_file.html收集到的信息。 /* put the file we crawled here */

filename htmlfile “url_file.html”

接下来,我们通过数据的循环,把它写 htmlfilm 的条目文件名参考,并寻找更多的网址添加到我们的 work.links_to_crawl数据集。

/* find more urls */

data work._urls(keep=url;

length url $256 ;

file htmlfile;

infile _nexturl length=len;

input text $varying2000. len;

put text;

start = 1;

stop = length(text;

使用正则表达式一个网站的网址, 以帮助搜索。正则表达式的匹配方法文本字符串,如字,词,或字符模式。 SAS已经提供了许多强大的字符串功能。然而, 正则表达式通常会提供一个更简洁的方式,操纵和匹配的文本 .

if _n_ = 1 then do;

retain patternID;

pattern = ‘/href=”([^"]+”/i’;

patternID = prxparse(pattern;

end

首次观察到,创建一个 patternID 将保持整个数据步运行。寻找的模式

是:“/href=”([^"]+”/i’”.,这意味着我们正在寻找字符串“HREF =”“,然后再寻找任何字符串,是至少有一个字符长,不包含引号(“,并结束在引号(”。在’我’ 目的的手段使用不区分大小写的方法,以配合我们的正则表达式。

As a result, the Web crawler will find these types of strings:

href=”sgf/2010/papers.html”

href=”https://www.360docs.net/doc/a215331080.html,”

HREF=”https://www.360docs.net/doc/a215331080.html,”

hReF=”https://www.360docs.net/doc/a215331080.html,”

现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数:正则表达式我们要寻找, 寻找开始寻找正则表达式的开始位置, 结束位置停止正则表达式, 一旦发现字符串中的位置,而字符串的长度,如果发现的位置将是 0,如果没有找到字符串。 PRXNEXT也改变了开始的参数,使搜索重新开始后的最后一场比赛是发现。

call prxnext(patternID, start, stop, text, position, length;

代码中的循环,在网站上找到的所有环节显示的文本。

do while (position ^= 0;

url = substr(text, position+6, length-7;

output;

call prxnext(patternID, start, stop, text, position, length;

end;

run;

如果代码发现一个网址,它会检索唯一的 URL 的一部分,启动后的第一个引号。例如,如果代码中发现的HREF =“https://www.360docs.net/doc/a215331080.html,”,那么它应该保持

https://www.360docs.net/doc/a215331080.html, 。使用 substr到删除前的 6个字符和最后一个字符的 URL

的其余部分输出的 work._urls 数据集。现在,我们插入的 URL 代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。

/* add the current link to the list of urls we have already crawled */ data

work._old_link;

url = “&next_url”;

run;

proc append base=work.links_crawled data=work._old_link force;

run;

下一步是在数据集 work._urls 的过程中发现的网址列表,以确保:

1。我们尚未抓取他们,换句话说 URL 是不是在 work.links_crawled。

2。我们没有排队抓取的 URL (网址换句话说, 是不是在 work.links_to_crawl 。/*

* only add urls that we have not already crawled

* or that are not queued up to be crawled

*

*/

proc sql noprint;

create table work._append as

select url

from work._urls

where url not in (select url from work.links_crawled

and url not in (select url from work.links_to_crawl;

quit;

然后,我们添加网址还没有被抓取,而不是已经排队 work.links_to_crawl数据集。

/* add new links */

proc append base=work.links_to_crawl data=work._append force;

run;