网页正文提取
我为开源做贡献，网页正文提取——Html2Article
2014-1-7 14:38|发布者: 红黑魂|查看: 16722|评论: 4|原作者: StanZhai|来自: 博客园
摘要: 为什么要做正文提取一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分 ...
为什么要做正文提取
一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分析结果的好坏。
对于特定的网站，我们可以分析其html结构，根据其结构来获取正文信息。先看一下下面这张图：
正文部分，不同的网站，正文所在的位置不同，并且Html的结构也不同，对于
爬虫而言，抓取的页面是各种各样的，不可能针对所有的页面去写抓取规则来提取正文内容，因此需要一种通用的算法将正文提取出来。
现有的网页正文提取算法
?基于标签用途的正文提取算法（比如title或h1,h2标签一般用作标题，p一
般表示正文段落，根据标签的含义去提取正文）
?基于标签密度判定（这个简单，说白了就是字符统计，正文部分html标签的密度比较低，确定一个阈值，按照标签密度提取正文部分）
?基于数据挖掘思想的网页正文抽取方法（这里会涉及到统计学和概率论的一些知识，在高深点就成了机器学习了，没有深入研究）
?基于视觉网页块分析技术的正文抽取（CV这种高端大气上档次的东西，岂是
我等这么容易就能研究明白的。虽然实现上复杂，但就提取效果而言，这种方法提取的精度还是不错的）
前2中方法还是比较容易实现的，主要是处理简单，先前我把标签密度的提取算法实现了，但实际用起来错误率还是蛮高的；后2种方法在实现上就略复杂了，从算法效率上讲应该也高不了哪去。
我们需要的是一种简单易实现的，既能保证处理速度，提取的准确率也不错的算法。于是结合前两种算法，研究网页html页面结构，有了一种比较好的处理思
路，权且叫做基于文本密度的正文提取算法吧。后来从网上找了一下类似的算法，发现也有使用类似的处理方法来处理正文提取的，不过还是有些不同。接下来跟大家分享一下这个算法的一些处理思想。
网页分析
我任意取了百度，搜狐，网易的一篇新闻类网页，拿来作分析。
先看一篇百度的文章
任正非为什么主动与我合影，https://www.360docs.net/doc/38163267.html,/article/2011
首先请求这个页面，然后过滤到所有的html标签，只保留文本信息，我们可以
看到正文信息集中在一下位置：
使用Excel分析行数与每行的字符的关系可以发现：
很明显，正文内容集中在65-100行之间的位置上，而这个区间的字符数也是比较密集的。
再来一篇网易的文章
张小龙神话已破灭马化腾该接管微信了，https://www.360docs.net/doc/38163267.html,/13/1230/10/9HB88VE600094NRG.html
还是先看下过滤html标签后的正文部分：
再来一个Excel的分析结果：
正文部分集中在279-282行之间，从图上看，也正是这么几行的文本密度特别高。
最后分析一篇搜狐的新闻
李克强天津调研考察的几个瞬间，https://www.360docs.net/doc/38163267.html,/20131229/n392604462.shtml
还是先看下过后标签后的正文：
再看下Excel的分析结果：
而搜狐的这篇文章正文部分主要集中在200-255行之间。其余的文本全部是杂乱的标签文本。
抱歉，漏了很重要的一点说明：为什么分析的时候要把html标签过滤掉呢？过滤html标签是为了降低干扰，因为我们关注的是正文内容，如果带着这样的标签var chart = new去分析，可想而知，对我们的正文分析会有多大的干扰了，也正因如此需要将html标签掉，只对文本做分析，降低干扰。
基于网页分析构思出的正文提取算法
回顾以上的网页分析，如果按照文本密度来找提取正文，那么就是写这么一个算法，能够从过滤html标签后的文本中找到正文文本的起止行号，行号之间的文
本就是网页正文部分。
还是从上面三个网页的分析结果看，他们都有这么一个特性：正文部分的文本密
度要高出非正文部分很多。我们按照这个特性就可以很容易将算法实现，那就是
基于阈（读音：yu）值去分析正文所在的位置。
那么接下来就需要解决一些问题：
?如何确定阈值？
?如何分析，一行行的分析？还是？
阈值的确定可以通过统计分析得出一个比较好的值，我在实际处理过程中，发现
这个值取180是比较合适的，也就是分析文本的时候，如果所分析的文本超过
了180，那么就可以认为到达了正文部分。
再有就是如何分析的问题，这个其实比较容易确定，一行行的分析效果肯定不好，如果在按行分析的过程中往下在分析几行作为一次分析效果比较好。也就是一次
性分析上5行左右，将字符累加起来，看看有没有达到设定的阈值，如果达到
了，那么认为已经进入正文部分了。
嗯，主要的处理逻辑就是这样，怎么样，不复杂吧。
我把实现的核心算法也贴出来吧：
int preTextLen = 0; // 记录上一次统计的字符数量（lines就是
去除html标签后的文本，_limitCount是阈值，_depth是我们要分析的深度，sb用于记录正文）int startPos = -1; // 记录文章正文的起始位
置for(int i = 0; i < lines.Length - _depth; i++){ int len = 0; for (int j = 0; j < _depth; j++) { len += lines[i + j].Length; } if (startPos == -1) // 还没有找到文章起始位置，需要判断起始位置 { if(preTextLen > _limitCount && len > 0) // 如果上次查找的文本数量超过了限定字数，且当前行数字符数不为0，则认为是开始位置 { // 查找文章起始位置, 如果向上查找，发现2行连续的空行则认为是头部int emptyCount = 0; for (int j = i - 1; j > 0; j--) { if (String.IsNullOrEmpty(lines[j]))
{ emptyCount++; } else{ emptyCount = 0; } if(emptyCount ==
_headEmptyLines) { startPos = j +
_headEmptyLines;
break; } } // 如果没有定位到文
章头，则以当前查找位置作为文章头if (startPos == -1) { startPos = i; } // 填充发现的
文章起始部分for(int j = startPos; j <= i; j++)
{ sb.Append(lines[j]); } } } else {if (len <= _endLimitCharCount && preTextLen < _endLimitCharCount) // 当前长度为0，且上一个长度也为0，则认为已
经结束{ if(!_appendMode) { break; } startPos = -1; } sb.Append(lines[i]); } preTextLen = len;}
核心的提取算法不足60行，经过验证提取的效果还是非常不错的，至少做到了
正文提取正确率90%上，效率上做到了平均提取时间30ms左右。
还需解决的一些问题
html标签剔除：这个简单，直接使用正则表达式替换（Regex.Replace(html, "(?is)<.*?>", "")），将所有的html标签剔除即可
html压缩型网页的处理:压缩后的html代码一般只有一行，对这类的html处
理也比较简单（不需要复杂的代码格式化），直接在标签末尾强制添加换行符即可。
正文标题：大多数规范的网址会用h1标签作文正文标题，处理时如果有h1那
么从h1标签中提取标题，没有的话，直接从title标签中那吧。
文章发布时间：并不是所有的文章都有发布时间（不过貌似大多数都有哈），直
接使用正则从去除标签后的正文中提取时间吧。
保留带标签的正文：我们的算法是和标签无关的，因为算法处理时首先要过滤html标签，去除干扰，那么如果想要带标签的正文怎么办（比如要保留正文中
的图片）？这时只能保留2个数组了，一个数组存放过滤标签的文本，便于分析，另一个数组则保留html标签，便于提取原始信息。
Html2Article网页正文提取算法
Html2Article就是我基于以上思想实现的网页正文提取算法。有以下特点：
?标签无关，提取正文不依赖标签。
?支持从压缩的html文档中提取正文内容。
?支持带标签输出原始正文。
核心算法简洁高效，平均提取时间在30ms左右。
算法已开源（也算是为开源做点贡献了吧）：
https://www.360docs.net/doc/38163267.html,/Html2Article/
https://https://www.360docs.net/doc/38163267.html,/stanzhai/Html2Article
https://www.360docs.net/doc/38163267.html,/p/html2article
使用方法请参考文档介绍说明。
算法是用C#实现的，玩.NET的同学有福了，可以直接使用nuget将html2article添加到你的项目中哦。
另外发现直接从百度搜索“html2article”也能找到很快的找打它，算法实现已经将近半年了，一直比较懒，也没写过文章跟大家分享一下。
本文版权归翟士丹
(Stan Zhai)和博客园
共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，
否则保留追究法律责任的权利。
酷毙雷人
1
鲜花鸡蛋漂亮
刚表态过的朋友(1 人)
wised
收藏分享邀请上一篇：Massimo Banzi: Arduino如何开启开源想象力下一篇：每个Linux用户都应该了解的命令行省时技巧
网页正文提取
我为开源做贡献，网页正文提取——Html2Article 2014-1-7 14:38|发布者: 红黑魂|查看: 16722|评论: 4|原作者: StanZhai|来自: 博客园 摘要: 为什么要做正文提取一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分 ... 为什么要做正文提取 一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分析结果的好坏。 对于特定的网站，我们可以分析其html结构，根据其结构来获取正文信息。先看一下下面这张图： 正文部分，不同的网站，正文所在的位置不同，并且Html的结构也不同，对于 爬虫而言，抓取的页面是各种各样的，不可能针对所有的页面去写抓取规则来提取正文内容，因此需要一种通用的算法将正文提取出来。
现有的网页正文提取算法 ?基于标签用途的正文提取算法（比如title或h1,h2标签一般用作标题，p一 般表示正文段落，根据标签的含义去提取正文） ?基于标签密度判定（这个简单，说白了就是字符统计，正文部分html标签的密度比较低，确定一个阈值，按照标签密度提取正文部分） ?基于数据挖掘思想的网页正文抽取方法（这里会涉及到统计学和概率论的一些知识，在高深点就成了机器学习了，没有深入研究） ?基于视觉网页块分析技术的正文抽取（CV这种高端大气上档次的东西，岂是 我等这么容易就能研究明白的。虽然实现上复杂，但就提取效果而言，这种方法提取的精度还是不错的） 前2中方法还是比较容易实现的，主要是处理简单，先前我把标签密度的提取算法实现了，但实际用起来错误率还是蛮高的；后2种方法在实现上就略复杂了，从算法效率上讲应该也高不了哪去。 我们需要的是一种简单易实现的，既能保证处理速度，提取的准确率也不错的算法。于是结合前两种算法，研究网页html页面结构，有了一种比较好的处理思 路，权且叫做基于文本密度的正文提取算法吧。后来从网上找了一下类似的算法，发现也有使用类似的处理方法来处理正文提取的，不过还是有些不同。接下来跟大家分享一下这个算法的一些处理思想。 网页分析 我任意取了百度，搜狐，网易的一篇新闻类网页，拿来作分析。 先看一篇百度的文章 任正非为什么主动与我合影，https://www.360docs.net/doc/38163267.html,/article/2011 首先请求这个页面，然后过滤到所有的html标签，只保留文本信息，我们可以 看到正文信息集中在一下位置：
如何提取网页上不能复制的文字
如何提取网页上不能复制的文字 我们在浏览一些网页时会发现，有的网站可能出于保护版权的缘故，上面的文字是不能复制的。那么我们应该如何提取上面的文字呢？下面就教几种常用的方法给大家： 第一招 点击浏览器的“工具”—“internet选项”—“安全”—“自定义级别”，然后将脚本全部禁用，安F5刷新一下网页。这时候你就会发现之前不能复制的内容，现在都没有问题了！（提示：复制完想要的东西之后，记得吧禁用的脚本解禁，否则会影响正常浏览的） 第二招 这招说其实是最简单，但有时最麻烦的一招。直接右击然后“查看源文件”，在源文件代码中复制需要的文章。不过复制文章的时候会有很多用不着的符号和代码。是有些麻烦。 第三招 点击浏览器的“文件”菜单栏，选择“保存网页”然后点开保存的文件，下载下来想要的网页，然后用word文本打开就可以了！ 第四招 打开想要下载的网页，然后把该网页另存到电脑上面，接着用记事本打开的方法打开！在记事本中找到（onpaste= “reture flase”不准粘贴oncopy=“reture flase；”不准复制oncut=“reture flase；”不准剪切onselectarst=“reture flase”不准选择）这句语句或者类似的代码，然后把这句代码去掉，body模块中的除外，然后保存记事本。接着双击打开刚才保存的记事本，这时候出现的文章就是可以复制的文章了 第五招 可以将网页截屏或是截图下来，再使用捷速图片文字识别软件，对网页上的文字进行识别，识别得到的文字可以保存为word，word中的文字可以随意的进行编辑或是其他操作。捷速图片文字识别软件的操作很简单，软件采用引导式界面，无需专业的技术知识，只要按软件提示点几下鼠标，就能轻松转扫描文件或PDF文件和图片文件。从兼容性来看，该软件可以适用于任何Windows操作系统，具有良好的系统兼容性，同时它能识别各类图片格式，如jpg，jpeg，bmp，gif，png等等，同时还能适用于pdf文件，文件的兼容性强。首先，我们将需要识别的图片准备好，将其采用直接拖曳或是点击“添加文件”将图片添加到软件中。然后，我们就可以开启识别程序，直接点击软件操作界面中的“识别”按钮，软件就开始自动对图片文字进行分析。最后，软件会将分析结果展示出来，与原文校对之后可以保存为word或是其他格式，这个根据需求进行操作。 个人还是比较建议使用捷速图片文字识别软件来进行识别网页文字，出错率较低，不需要多少专业的知识，而且速度快，方便快捷，就能轻松提取网页上不能复制的文字了。
URL 筛选小工具 提取网页中的链接地址
这个VBS是用来将一个本地网页中的URL筛选出来并保存在新的网页文件中。当然，只要改变里面的正则表达式，就可以作其他用途了。 使用方法：将下面的代码保存为jb51.vbs 然后拖动你保存在本地的htm页面，拖放在这个vbs即可 代码如下: '备注：URL筛选小工具 '防止出现错误 On Error Resume Next 'vbs代码开始---------------------------------------------- Dim p,s,re If Wscript.Arguments.Count=0 Then Msgbox "请把网页拖到本程序的图标上！",,"提示" Wscript.Quit End If For i= 0 to Wscript.Arguments.Count - 1 p=Wscript.Arguments(i) With CreateObject("Adodb.Stream") .Type=2 .Charset="GB2312"s) s="" For Each Match In Matches s=s & "<a href=""" & Match.Value & """>" & Match.Value & "<p>" Next re.Pattern= "&\w+;?|\W{5,}" s=re.Replace(s,"") .Position=0 .setEOS .WriteText s .SaveToFile p & "'s URLs.html",2 .Close End With Next Msgbox "网址列表已经生成！",,"成功" 'vbs代码结束----------------------------------------------
html文件中提取网页链接C++实现方法
// htmltotxt.cpp : 定义控制台应用程序的入口点。// //#include "stdafx.h" #include { int pos1 = src.find("href=\""); if(pos1<0) break; b = pos1; int pos2 = src.find("\"",pos1+6); if (pos2<0) break; string sub = src.substr(pos1+6,pos2-pos1-6); src.erase(src.begin()+pos1,src.begin()+pos2+1); if(sub[0] != 'h'&&sub[1] != 't'&&sub[0] != 't'&&sub[0] != 'p') { continue; } else out< https://www.360docs.net/doc/38163267.html, 网页图片提取方法 对于新媒体运营来说，平日一定要注意积累图片素材，这样到写文案用的时候，才不会临时来照图片，耗费大量的时间。 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【图片采集】为例，教大家如何使用八爪鱼采集软件采集网络图片的方法。 1、图片采集 在八爪鱼中，采集图片有以下几大步 1、先采集网页图片的地址链接url 2、通过八爪鱼提供的专用图片批量下载工具将URL转化为图片 八爪鱼图片批量下载工具：https://https://www.360docs.net/doc/38163267.html,/s/1c2n60NI 2、常见应用情景 1）非瀑布流网站纯图片采集 采集示例：豆瓣网图片采集教程https://www.360docs.net/doc/38163267.html,/tutorial/tpcj-7 2）瀑布流网站纯图片采集 这类瀑布流网站的采集需要按下面的步骤对采集规则进行设置： https://www.360docs.net/doc/38163267.html, ①点击采集规则打开网页步骤的高级选项； ②勾选页面加载完成后下滚动； ③填写滚动的次数及每次滚动的间隔； ④滚动方式设置为：直接滚动到底部； 完成上面的规则设置后，再对页面中图片的url进行采集 采集示例：百度网图片采集教程https://www.360docs.net/doc/38163267.html,/tutorial/bdpiccj 3)文章图文采集 需要将文章里的文字和图片都采集下来，一般有两种方法 方法1：判断条件，设置判断条件分别采集文字和图片 采集示例：https://www.360docs.net/doc/38163267.html,/tutorial/txnewscj 方法2：先整体采集文字，再循环采集图片 采集示例：https://www.360docs.net/doc/38163267.html,/tutorial/ucnewscj 3、教程目的 采集图片URL这个步骤，以上图片采集教程中都有详细说明，不再赘述。本文将重点讲解图片采集的采集技巧和注意事项。 4、采集图片URL操作步骤 以下演示一个采集图片URL的具体操作步骤，以百度图片url采集为例。不同的网站图片url会遇到不同的情况，请大家灵活处理。 教你如何提取网页中的视频、音乐歌曲、flash、图片等多媒体文件（很实用） 打开网页后，发现里面有好看的视频、好听的音乐、好看的图片、很炫的flash，是不是想把它们弄到自己电脑上或手机、mp4上？但很多时候视频无法下载，音乐只能试听，或者好听的背景音乐根本就不知道什么名字，更别说怎么下了；至于图片直接右键另存为即可，不过如果网页突然关掉了，但又想把看过的图片弄下来，而忘了图片网页地址或者不想再通过历史记录打开，这时又该怎么办？ 其实这些问题都能很好的解决，并且很简单，只要用一个软件 来替你从电脑的缓存中搜索一下就OK了，因为网页中显示的内容基本 上全部都在缓存中，如果自己手动搜索，那将是很累人滴，又不好找，东西太多，又没分类。 无意中发现一个小软件很强（对此感兴趣，本人玩过无数小软件），我一直在用，也是用它帮了很多网友的忙，为了让更多的网友解决问题，于是拿来和亲们分享一下。不废话了，下面进入主题： 这款免费小软件就是YuanBox（元宝箱）v1.6，百度一搜就能下载。 下面是我自己整理的使用步骤，供亲们参考（其实不用看就行，软件简单，不用学就会），我只是用的时间长了，很熟练罢了： 软件下好后，解压，打开里面的YuanBox.exe即可，不用安装；打开此软件前，先打开你要提取东西的网页（之后再关掉也行），这是为了保证电脑缓存中有你要的东西。 运行软件，初始界面如下图： 之后直接是flv格式视频搜索结果的界面，原因就是此软件的全称是 元宝箱FLV视频下载专家，不想要视频的话，点击最上面的设置或者最下面的高级设置，即可进行搜索范围设定 下面是搜索条件设定界面 以swf格式flash为例，进行搜索，选择类型中的第二项 点击确定，开始搜索，结果如下： https://www.360docs.net/doc/38163267.html, 网页内容如何批量提取 网站上有许多优质的内容或者是文章，我们想批量采集下来慢慢研究，但内容太多，分布在不同的网站，这时如何才能高效、快速地把这些有价值的内容收集到一起呢？ 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集】，以【新浪博客】为例，教大家如何使用八爪鱼采集软件采集新浪博客文章内容的方法。 采集网站： https://www.360docs.net/doc/38163267.html,/s/articlelist_1406314195_0_1.html 采集的内容包括：博客文章正文，标题，标签，分类，日期。 步骤1：创建新浪博客文章采集任务 1）进入主界面，选择“自定义采集” https://www.360docs.net/doc/38163267.html, 2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址” https://www.360docs.net/doc/38163267.html, 步骤2：创建翻页循环 https://www.360docs.net/doc/38163267.html, 1）打开网页之后，打开右上角的流程按钮，使制作的流程可见状态。点击页面下方的“下一页”，如图，选择“循环点击单个链接”，翻页循环创建完成。（可在左上角流程中手动点击“循环翻页”和“点击翻页”几次，测试是否正常翻页。） 2）由于进入详情页时网页加载很慢，网址一直在转圈状态，无法立即执行下一个步骤，因此在“循环翻页”的高级选项里设置“ajax加载数据”，超时时间设置为5秒，点击“确定”。 https://www.360docs.net/doc/38163267.html, 步骤3：创建列表循环 1）鼠标点击列表目录中第一个博文，选择操作提示框中的“选中全部”。 2）鼠标点击“循环点击每个链接”，列表循环就创建完成，并进入到第一个循环项的详情页面。 java抓取网页内容三种方式 2011-12-05 11:23 一、GetURL.java import java.io.*; import https://www.360docs.net/doc/38163267.html,.*; public class GetURL { public static void main(String[] args) { InputStream in = null; OutputStream out = null; try { // 检查命令行参数 if ((args.length != 1)&& (args.length != 2)) throw new IllegalArgumentException("Wrong number of args"); URL url = new URL(args[0]); //创建 URL in = url.openStream(); // 打开到这个URL的流 if (args.length == 2) // 创建一个适当的输出流 out = new FileOutputStream(args[1]); else out = System.out; // 复制字节到输出流 byte[] buffer = new byte[4096]; int bytes_read; while((bytes_read = in.read(buffer)) != -1) out.write(buffer, 0, bytes_read); } catch (Exception e) { System.err.println(e); System.err.println("Usage: java GetURL 教你如何复制网上的任何文字 朋友们在上网浏览一些网页时，可能会遇到过有些网页，随着时间的推移该地址也可能失效，无论你按住鼠标左键如何不停的拖动，都无法选中复制需要的文字。那是因为网站为了保密，对网页文件进行了加密，使用户无法通过选取的方法复制网页中的文字，采用“另存为”保存在硬盘中也无法复制其中的文字，是不是让人感觉无可奈何，而又心有不甘呢？下面，我就介绍几种方法来破解网上文字无法复制的问题： 方法1、先按CTRL+A键将网页全部选中，“复制”，然后从中选取需要的文字即可。 方法2、打开你想复制文字的网页，找到地址栏上面的工具栏，找到按钮，点一下右面那个向下的下拉箭头，你可以选择用Word、记事本、Excel编辑，我一般选择用Word，过一会就会出现一个Word文档，在里面找到自己需要复制的文字就可以复制了。 方法3、打开你想复制文字的网页，找到菜单栏中的→另存为（A）→就会出现下图→保存类型→点一下它右面的下拉箭头→选择→再点“保存”就可以了，然后找到该文本文件复制里面你想要的内容就可以了。 方法4、调用源文件查看文字。选择菜单“查看”，点击“源文件”，打开记事本就能看到网页的全部文字，选取你需要的即可。 方法5、点击IE的工具栏栏中的“工具/Internet”菜单，进入“安全”标签页，选择“自定义级别”，将所有脚本全部禁用然后按F5键刷新网页，然后你就会发现那些无法选取的文字就可以选取了。 方法6、下载安装一个SnagIt汉化破解版软件（找个不收费的），利用抓图软件SnagIt实现。SnagIt中有一个“文字捕获”功能，可以抓取屏幕中的文字，也可以用于抓取加密的网页文字。单击窗口中的“文字捕获”按钮，单击“输入”菜单，选择“区域”选项，最后单击“捕获”按钮，这时光标会变成带十字的手形图标，按下鼠标左键在网页中拖动选出你要复制的文本，松开鼠标后会弹出一个文本预览窗口，可以看到网页中的文字已经被复制到窗口中了。剩下的工作就好办了，把预览窗口中的文字复制到其他文本编辑器中即可，当然也可以直接在这个预览窗口中编辑修改后直接保存。 方法7、使用特殊的浏览器。如TouchNet Browser浏览器具有编辑网页功能，可以用它来复制所需文字。在“编辑”菜单中选择“编辑模式”，即可对网页文字进行选取。 注意：以上方法对某些网页并不都适用，朋友们可视情选用一种或几种配合使用，已达到我们复制网页文字的目的。 在浏览网页时，你一定会不时看到一些需要保存的数据信息。这些信息或许是一个完整的表格，或许是一段文字，如果要保存这类信息，我们常用的方法就是拖动鼠标，选中这些信息，然后用Ctrl＋C组合键复制文字，然后再保存到Word、Excel当中去。 这样的步骤算不上麻烦，但如果要求你在一个个内容丰富的大网页(比如新浪、网易、Sohu首页)中频繁地复制、粘贴，一定会让你感到疲劳和浪费时间。有什么好办法呢？用“Ctrl+A”全选后复制所有文字？粘贴后你会发现麻烦更大，因为所有文字都堆在一起了！下面，理睬教你一种方便的方法。 实例:抓取新浪首页不同位置内容 第一步:打开IE，访问理睬博客首页https://www.360docs.net/doc/38163267.html,/ 。 第二步:在网页左侧或右侧的空白处点击鼠标右键，在菜单中选择“导出到Microsoft Office Excel”。注意，不要在文字链接之间的空白处点右键，而是应该在完全没有任何网页内容的地方点右键。 第三步:这时Excel会启动，并出现一个“新建Web查询”的窗口。稍等片刻，等待这个窗口中显示出了完整网页，左下角会出现“完毕”字样。注意观察网页，你会发现网页被分割成了很多小的表格，每个表格的左上角有一个小的箭头标志。 第四步:双击窗口最上方标题栏，最大化窗口。依次找到要收藏的内容，然后按下该位置左上角的箭头，使它变成绿色的对勾。然后按下下方的“导入”按钮。 第五步:在弹出窗口中选择放置位置，然后按下“确定”按钮，文字、表格信息就可以自动导入Excel 了。字体格式、颜色自动处理为Excel默认的样式，表格也会被放到适当的单元格中。这样，就有效避免了直接复制粘贴网页造成一些无法识别的格式、链接信息加入网页，同时提高了导入速度。 你知道吗？ 如何不将网页格式带入Office文档中？ 当你在浏览器中复制一段内容，然后粘贴到Word、Excel中，会将一些网页格式直接照搬进来，这可能不是我们希望的，因为它会增大文件体积，也不利于加工整理。其实，你只要不用“Ctrl+V”来粘贴，而是选择Word、Excel中的“编辑→选择性粘贴→文本”来进行粘贴就可以了。 https://www.360docs.net/doc/38163267.html, 网页链接提取方法 网页链接的提取是数据采集中非常重要的部分，当我们要采集列表页的数据时，除了列表标题的链接还有页码的链接，数据采集只采集一页是不够，还要从首页遍历到末页直到把所有的列表标题链接采集完，然后再用这些链接采集详情页的信息。若仅仅靠手工打开网页源代码一个一个链接复制粘贴出来，太麻烦了。掌握网页链接提取方法能让我们的工作事半功倍。在进行数据采集的时候，我们可能有提取网页链接的需求。网页链接提取一般有两种情况：提取页面内的链接；提取当前页地址栏的链接。针对这两种情况，八爪鱼采集器均有相关功能实现。下面介绍一个网页链接提取方法。 一、八爪鱼提取页面内的超链接 在网页里点击需要提取的链接，选择“采集以下链接地址” https://www.360docs.net/doc/38163267.html, 网页链接提取方法1 二、八爪鱼提取当前地址栏的超链接 从左边栏拖出一个提取数据的步骤出来（如果当前页已经有其他的提取字段，这一步可省略）点击“添加特殊字段”，选择“添加当前页面网址”。可以看到，当前地址栏的超链接被抓取下来 https://www.360docs.net/doc/38163267.html, 网页链接提取方法2 而批量提取网页链接的需求，一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。 采集网站： https://https://www.360docs.net/doc/38163267.html,/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21 bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=手表&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=sugg est https://www.360docs.net/doc/38163267.html, python抓取网页数据的常见方法 很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。下面介绍python抓取网页数据的常见方法。 一、Urllib抓取网页数据 Urllib是python内置的HTTP请求库 包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块urlopen 关于urllib.request.urlopen参数的介绍： urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) url参数的使用 先写一个简单的例子： https://www.360docs.net/doc/38163267.html, import urllib.request response = urllib.request.urlopen(' print(response.read().decode('utf-8')) urlopen一般常用的有三个参数，它的参数如下： urllib.requeset.urlopen(url,data,timeout) response.read()可以获取到网页的内容，如果没有read()，将返回如下内容 data参数的使用 上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求 这里通过https://www.360docs.net/doc/38163267.html,/post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以 模拟各种请求操作）。 import urllib.parse import urllib.request data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8') 电子设计工程 Electronic Design Engineering 第27卷Vol.27第8期No.82019年4月Apr.2019 收稿日期：2018-07-20 稿件编号：201807113 作者简介：洪鸿辉（1992—），男，广东揭阳人，硕士研究生。研究方向：大数据处理。 自互联网问世以来，经过多年的发展，互联网站点的数量在不断的增长，互联网上的信息也在不断的增加，然而，由于商业因素的问题，这些网站在为我们提供有价值的信息的同时，还会包含其他信息，例如广告或其他网站的链接。链接可能是图片，文字。这些相对于正文内容无用的信息会降低我们的阅读效率，而且这些无用的文字可能会被搜索引擎作为索引关键词，不仅降低了搜索的效率还影响了用户的体验。 很多互联网公司也发现了这一问题，所以现在越来越多的网页都会支持RSS 。若一个网页支持RSS ， 我们就可以很轻易的提取网页的正文内容，但大多数网页还是不支持RSS ，所以关于正文提取这一方面的研究工作一直没有停止。网页的类型有很多种，比如新闻网站，博客网站，论坛等。新闻类网站的正文提取一直是研究的主要方向，新闻类的文章通常要提取正文内容，标题，时间，作者等。文章通常要提取正文内容，标题，时间，作者等。一方面，网页正文提取结果的好坏会影响着文本聚类，去重，语义指纹等结果。另一方面，网页正文提取在大数据时代也是一项不可或缺的环节。 1相关工作 1.1 VIPS 2003年，微软公司亚洲研究所提出了一种网页 进行视觉分块[1]算法—VIPS [2]算法。该算法的思想是 模仿人类看网页的动作，基于网页视觉内容结构信息结合Dom 树对网页进行处理。简单的说就是把页面切割不同大小的块，在每一块中又根据块网页的内容和CSS 的样式渲染成的视觉特征把其分成小块，最后建立一棵树[3]。 但是，VIPS 必须完全渲染一个页面才能对其进基于文本及符号密度的网页正文提取方法 洪鸿辉，丁世涛，黄傲，郭致远 （武汉邮电科学研究院湖北武汉430000） 摘要：大多数的网站的网页除了主要的内容，还包含导航栏，广告，版权等无关信息。这些额外的内容亦被称为噪声，通常与主题无关。由于这些噪声会妨碍搜索引擎对Web 数据的挖掘性能，所以需要过滤噪声。在本文中，我们提出基于网页文本密度与符号密度对网页进行正文内容提取，这是一种快速，准确通用的网页提取算法，而且还可以保留原始结构。通过与现有的一些算法对比，可以体现该算法的精确度，同时该算法可以较好的支持大数据量网页正文提取操作。关键词：文本密度；算法；噪音；正文提取中图分类号：TP391 文献标识码：A 文章编号：1674-6236（2019）08-0133-05 Text extraction method based on text and symbol density HONG Hong?hui ，DING Shi?tao ，HUANG Ao ，GUO Zhi?yuan （Wuhan Research Institute of Posts and Telecommunications ，Wuhan 430000，China ） Abstract:Most web pages contain not only the main content ，but also navigation bar ，advertising ，copyright and other irrelevant information.These extra contents are also referred to as noise ，usually irrelevant to the topic.Since these noises will hamper the performance of search engine for Web data mining ，noise removal is needed.In this paper ，we propose a fast ，accurate and general web content extraction algorithm based on text density and symbol density ，which can preserve the original https://www.360docs.net/doc/38163267.html,pared with some existing algorithms ，the algorithm can reflect the accuracy of the algorithm ，and the algorithm can better support the large amount of data Web page text extraction operation.Key words:text density ；algorithm ；noise ；text extract - -133 https://www.360docs.net/doc/38163267.html, 网页文字提取工具使用教程 如何从海量的网页里提取到我们想要的信息，对于不会编程序不会打代码来说，能有一款好用的网页提取工具真是最好不过了 今天就给大家介绍一款免费网页文字抓取器抓取本文介绍使用八爪鱼采集新浪博客文章的方法。 采集网站： https://www.360docs.net/doc/38163267.html,/s/articlelist_1406314195_0_1.html 采集的内容包括：博客文章正文，标题，标签，分类，日期。 步骤1：创建新浪博客文章采集任务 1）进入主界面，选择“自定义采集” https://www.360docs.net/doc/38163267.html, 2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址” https://www.360docs.net/doc/38163267.html, 步骤2：创建翻页循环 1）打开网页之后，打开右上角的流程按钮，使制作的流程可见状态。点击页面下方的“下一页”，如图，选择“循环点击单个链接”，翻页循环创建完成。（可在左上角流程中手动点击“循环翻页”和“点击翻页”几次，测试是否正常翻页。） https://www.360docs.net/doc/38163267.html, 2）由于进入详情页时网页加载很慢，网址一直在转圈状态，无法立即执行下一个步骤，因此在“循环翻页”的高级选项里设置“ajax 加载数据”，超时时间设置为5秒，点击“确定”。 https://www.360docs.net/doc/38163267.html, 步骤3：创建列表循环 1）鼠标点击列表目录中第一个博文，选择操作提示框中的“选中全部”。 https://www.360docs.net/doc/38163267.html, 2）鼠标点击“循环点击每个链接”，列表循环就创建完成，并进入到第一个循环项的详情页面。 https://www.360docs.net/doc/38163267.html, 腾讯网页视频链接提取教程 本文介绍使用八爪鱼采集器简易模式采集提取腾讯网页视频的方法。 需要采集腾讯地图关键词搜索内容的，在网页简易模式界面里点击腾讯进去之后可以看到关于腾讯的三个规则信息，我们依次直接使用就可以的。 腾讯网页视频链接提取步骤1 采集腾讯视频-热播电影排行榜内容（下图所示）即打开腾讯网主页点击第三个（腾讯视频-最近热播电影排行榜）采集搜索到的内容。 1、找到腾讯视频-最近热播电影排行榜规则然后点击立即使用 https://www.360docs.net/doc/38163267.html, 腾讯网页视频链接提取步骤2 2、下图显示的即为简易模式里面的腾讯视频-最近热播电影排行规则 ①查看详情：点开可以看到示例网址 ②任务名：自定义任务名，默认为腾讯视频-最近热播电影排行 ③任务组：给任务划分一个保存任务的组，如果不设置会有一个默认组 ④翻页次数：设置要采集几页 ⑤示例数据：这个规则采集的所有字段信息 https://www.360docs.net/doc/38163267.html, 腾讯网页视频链接提取步骤3 3、规则制作示例 任务名：自定义任务名，也可以不设置按照默认的就行 任务组：自定义任务组，也可以不设置按照默认的就行 翻页次数:2 设置好之后点击保存，保存之后会出现开始采集的按钮 保存之后会出现开始采集的按钮 https://www.360docs.net/doc/38163267.html, 腾讯网页视频链接提取步骤4 4、选择开始采集之后系统将会弹出运行任务的界面 可以选择启动本地采集（本地执行采集流程）或者启动云采集（由云服务器执行采集流程），这里以启动本地采集为例，我们选择启动本地采集按钮 https://www.360docs.net/doc/38163267.html, 腾讯网页视频链接提取步骤5 5、选择本地采集按钮之后，系统将会在本地执行这个采集流程来采集数据，下图为本地采集的效果 腾讯网页视频链接提取步骤6 从网站资源中轻松提取资料 1、从图片中提取文字 现在许多网站都有电子书下载，常见的格式有exe、chm、pdf等。为了保护作者的权益，这些电子书可以看，但是其中的内容却不能进行复制，因为它简直就像一幅图片一样。如果我们需要使用这些资料中的文本内容的话，是不是就一定要重新输入一遍呢？当然不用这么麻烦。下面就为大家介绍如何将这些内容从资料中提取出来。 第一种方法：用SnagIt工具进行文字提取。 首先使用SnagIt的文字捕捉功能将文字提取出来。SnagIt当前版本为7.1.1，大小为9756 KB，下载链接：https://www.360docs.net/doc/38163267.html,:8080/down/snagit.exe。启动SnagIt ，选择菜单“输入/区域”，选择菜单“工具/文字捕获”。 然后我们打开要捕捉的文件窗口，按下捕捉快捷键，选定捕捉区域即可捕捉到文字。 接着用相应工具重排文字。此时我们发现提取的文字可能会有很多空格或段落错乱等现象，而且字号、字体等不合自己的心意。这时我们可以用熟悉的Wps和Word软件进行重新编排。我们以Wps Office 2003为例看看如何对付提取后文章的编排。 用Wps Officd 2003打开提取文章；然后选择“工具”菜单下的“文字”\“段落重排”。 这时你会看到提取文章重新进行排版；接下来选择“工具”菜单下的“文字”\“删除段首空格”命令，使得文章的每段参差不齐的行首空格被删除；再选择“工具”菜单下的“文字”\“增加段首空格”，文章变为正常的书写格式；提取文章一般都留有空段，为删除这些空段，继续选择“工具”菜单下的“文字”\“删除空段”命令，这时文章完全变为我们所要的形式；用你熟悉的界面任意编辑（格式化）文章吧。 第二种方法：用屏幕截图然后让OCR软件识别。 打开带有文字的图片或电子书籍，翻页到你希望提取的页面，点击键盘上的捕获键（Print Screen）进行屏幕捕获；打开Windows自带的画图工具，将刚才捕获的屏幕截图，粘贴进去，保存为一个.bmp文件；接着打开刚才保存的文件，在编辑器中进行修正，根据你所要提取的文字进行裁剪，尽量去除不要的部分；最后启动OCR软件，在OCR中打开刚才保存的修改文件，进行文字识别，然后可随心所欲进行编辑。 如何实现获取网站数据，以采集链家房源信息为例 在大数据时代，从网络中获取数据并进行一定分析，日渐成为开展竞争对手分析、商业数据挖掘、推进科研成果等众多领域的重要手段。每个行业或领域，都有其纷繁复杂的网站数据。那么，如何获取网站数据，是摆在我们面前的一个亟待解决的问题。 网站数据获取方式主要有以下几种：网站数据手工复制、网站数据自动抓取工具、自制浏览器下载等。手工复制和自制浏览器极为费时费力，选择一款合适的数据抓取工具成为了最好的选择，可以为我们的学习、工作节省大量时间、精力、金钱成本。 八爪鱼是一款极容易上手、可视化操作、功能强大的网站数据抓取工具。以下是一个使用八爪鱼采集目标网站数据的完整示例。示例中采集的是链家网上-租房-深圳分类下的出租房屋信息。本文仅以链家网这个网站为例，其他直接可见的网站均可通过八爪鱼这个工具采集。示例网站： 示例规则下载： 步骤1：创建采集任务 1）进入主界面选择，选择自定义模式 如何实现获取网站数据，以采集链家房源信息为例图1 2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址” 如何实现获取网站数据，以采集链家房源信息为例图2 3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的列表内容，就是演示采集数据 如何实现获取网站数据，以采集链家房源信息为例图3 步骤2：创建翻页循环 ●找到翻页按钮，设置翻页循环 1）将页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中， 选择“循环点击下一页” 如何实现获取网站数据，以采集链家房源信息为例图4 步骤3：房源信息采集 ●选中需要采集的字段信息，创建采集列表 ●编辑采集字段名称 1）如图，移动鼠标选中列表中标题的名称，右键点击，需采集的内容会变成绿色 如何实现获取网站数据，以采集链家房源信息为例图5 注意：点击右上角的“流程”按钮，即可展现出可视化流程图。 https://www.360docs.net/doc/38163267.html, 网络文字抓取工具使用方法 网页文字是网页中常见的一种内容，有些朋友在浏览网页的时候，可能会有批量采集网页内容的需求，比如你在浏览今日头条文章的时候，看到了某个栏目有很多高质量的文章，想批量采集下来，下面本文以采集今日头条为例，介绍网络文字抓取工具的使用方法。 采集网站： 使用功能点： ●Ajax滚动加载设置 ●列表内容提取 步骤1：创建采集任务 https://www.360docs.net/doc/38163267.html, 1）进入主界面选择，选择“自定义模式” 今日头条网络文字抓取工具使用步骤1 2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址” https://www.360docs.net/doc/38163267.html, 今日头条网络文字抓取工具使用步骤2 3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容，即为今日头条最新发布的热点新闻。 https://www.360docs.net/doc/38163267.html, 今日头条网络文字抓取工具使用步骤3 步骤2：设置ajax页面加载时间 ●设置打开网页步骤的ajax滚动加载时间 ●找到翻页按钮，设置翻页循环 ●设置翻页步骤ajax下拉加载时间 https://www.360docs.net/doc/38163267.html, 1）网页打开后，需要进行以下设置：打开流程图，点击“打开网页”步骤，在右侧的高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置2秒，这个页面的滚动方式，选择直接滚动到底部；最后点击确定 今日头条网络文字抓取工具使用步骤4 注意：今日头条的网站属于瀑布流网站，没有翻页按钮，这里的滚动次数设置将影响采集的数据量。 https://www.360docs.net/doc/38163267.html, 今日头条网络文字抓取工具使用步骤5 步骤3：采集新闻内容 创建数据提取列表 1）如图，移动鼠标选中评论列表的方框，右键点击，方框底色会变成绿色 https://www.360docs.net/doc/38163267.html, 网页上的房源房价数据如何抓取 如何从网页上抓取数据？本文将以房源类网页为例做一个具体说明。 应用场景：部分城市的房价迅速上涨，多地出台楼市限制政策，未来房价走势到底如何？租房平台五花八门，房源信息鱼龙混杂，如何快速找到最心意的房子？——如果已有的资料不能满足需求，自己动手从网络上的各个平台抓取房源数据，密切关注最新的房价信息，再结合实际情况做出自己的判断，就十分必要。 具体案例：以下是一个使用八爪鱼采集搜房网房源数据的具体案例。 采集网站：https://www.360docs.net/doc/38163267.html,/xzlrent/area 步骤1：创建采集任务 1）进入主界面，选择“自定义模式” https://www.360docs.net/doc/38163267.html, 网页上的房源房价数据如何抓取图1 2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址” https://www.360docs.net/doc/38163267.html, 网页上的房源房价数据如何抓取图2 步骤2：创建翻页循环 1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环 https://www.360docs.net/doc/38163267.html, 网页上的房源房价数据如何抓取图3 步骤3：创建列表循环并提取数据 1）移动鼠标，选中页面里的第一个写字楼信息区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素” https://www.360docs.net/doc/38163267.html, 网页上的房源房价数据如何抓取图4 2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环 如何抓取网页文字 第一种情况，出现“ 版权所有、严禁复制!”。这是由于网页文件中被加入了如下代码( 破解方法(先选中目标，然后在目标上按下鼠标右键，此时会弹出提示窗口，这时不要松开右键，将鼠标指针移到提示窗口的“确定”按钮上，然后按下左键。现在松开鼠标左键，限制窗口被关闭了，再将鼠标移到目标上松开鼠标右键,弹出了鼠标右键菜单，限制取消了？第二种情况，出现“添加到收藏夹”的。破解方法如下: 在目标上点鼠标右键，出现添加到收藏夹的窗口，这时不要松开右键，也不要移动鼠标，而是使用键盘的TAB键，移动焦点到取消按钮上，按下空格键，这时窗口就消失了，松开右键后，我们熟悉的右键菜单又出现了。 第三种情况，超链接无法用鼠标右键弹出“在新窗口中打开”菜单的。这时用上面的两种方法无法破解，看看我这一招:在超链接上点鼠标右键，弹出窗口，这时不要松开右键，按键盘上的空格键，窗口消失了，这时松开右键，右键菜单又出现了，选择其中的“在新窗口中打开”就可以了。第四种情况，在浏览器中点击“查看”菜单上的“源文件”命令，这样就可以看到html源代码了。不过如果网页使用了框架，你就只能看到框架页面的代码，此方法就不灵了，我们还可以按Shift+F10或按动键盘上与右手边的Ctrl键紧挨着的那个 键，都可以轻松的破解上面这种对鼠标右键的屏蔽。 第五种情况，最近在某网页中又遇一新的屏蔽方法，使用上面这些破解方法无效。关键代码如下( 在屏蔽鼠标右键的页面中点右键，出现警告窗口，此时不要松开右键，用左手按键盘上的ALT+F4组合键，这时提示窗口就被我们关闭了，松开鼠标右键，还是没有反应？想当初这招可是“百发百中”的？现在居然也不管用了？它既然能用javascript限制我们使用鼠标右键，我们就应该能用javascript来破解它？ 仔细看看上面的代码，关键是这句 (“document.oncontextmenu=stop”，如果我们能让其中的“stop”失效不就成功的破解了吗；让我们来试试，具体方法 是( 在浏览器地址栏中键入 “java_s:alert(document.oncontextmenu='')”，输入时不要输入双引号！，此时会弹出个对话框，点击“确定”按钮，然后再对着你的目标，图片或文字！点击鼠标右键就可以看到弹出菜单了？第六种情况，网页中的鼠标右键锁定是基 于javascript的基础实现的？以下有个很方便的方法就可以 破掉它？在网址中输入 (void(document.body.oncontextmenu=null) 按一下回 车键，页面没反应？但是你按一下右键，看看是不是可以打开了？1/3页同样的原理也可以破解掉页面的“防复制”，“防选取”等限制?韵率谴耄?br /> 选取网页图片提取方法
教你如何提取网页中的视频、音乐歌曲、
网页内容如何批量提取
Java抓取网页内容三种方式
教你如何复制网上的任何文字
用Excel获取网页内容的方法
网页链接提取方法
python抓取网页数据的常见方法
基于文本及符号密度的网页正文提取方法
网页文字提取工具使用教程
腾讯网页视频链接提取教程
从网站资源中轻松提取资料
如何采集获取网站数据
网络文字抓取工具使用方法
网页上的房源房价数据如何抓取
如何抓取网页文字