python抓取网页数据的常见方法

https://www.360docs.net/doc/2114954050.html,

python抓取网页数据的常见方法

很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。下面介绍python抓取网页数据的常见方法。

一、Urllib抓取网页数据

Urllib是python内置的HTTP请求库

包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块urlopen

关于urllib.request.urlopen参数的介绍：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

url参数的使用

先写一个简单的例子：

https://www.360docs.net/doc/2114954050.html,

import urllib.request

response = urllib.request.urlopen('

print(response.read().decode('utf-8'))

urlopen一般常用的有三个参数，它的参数如下：

urllib.requeset.urlopen(url,data,timeout)

response.read()可以获取到网页的内容，如果没有read()，将返回如下内容

data参数的使用

上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求

这里通过https://www.360docs.net/doc/2114954050.html,/post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以

模拟各种请求操作）。

import urllib.parse

import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')

https://www.360docs.net/doc/2114954050.html,

print(data)

response = urllib.request.urlopen('https://www.360docs.net/doc/2114954050.html,/post', data=data) print(response.read())

这里就用到urllib.parse，通过bytes(urllib.parse.urlencode())可以将post数据进行转换放到urllib.request.urlopen的data参数中。这样就完成了一次post请求。

所以如果我们添加data参数的时候就是以post请求方式请求，如果没有data参数就是get请求方式

timeout参数的使用

在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，所以这个时候我们需要给

请求设置一个超时时间，而不是让程序一直在等待结果。例子如下：

import urllib.request

response = urllib.request.urlopen('https://www.360docs.net/doc/2114954050.html,/get', timeout=1) print(response.read())

https://www.360docs.net/doc/2114954050.html,

运行之后我们看到可以正常的返回结果，接着我们将timeout时间设置为0.1 运行程序会提示如下错误

所以我们需要对异常进行处理，代码更改为

import socket

import urllib.request

import urllib.error

try:

https://www.360docs.net/doc/2114954050.html,

response = urllib.request.urlopen('https://www.360docs.net/doc/2114954050.html,/get', timeout=0. 1)

except urllib.error.URLError as e:

if isinstance(e.reason, socket.timeout):

print('TIME OUT')

响应

响应类型、状态码、响应头

import urllib.request

response = urllib.request.urlopen('

print(type(response))

可以看到结果为：

我们可以通过response.status、response.getheaders().response.getheader("server")，获取状态码以及头部信息

response.read()获得的是响应体的内容

https://www.360docs.net/doc/2114954050.html,

当然上述的urlopen只能用于一些简单的请求，因为它无法添加一些header信息，如果需要添加头部信息去访问目标站的，这个时候就要用到urllib.request。

二、requests抓取网页数据

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed 开源协议的HTTP库

Requests它会比urllib更加方便，可以节约我们大量的工作。（用了requests 之后，你基本都不愿意用urllib了）一句话，requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。

默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装

requests功能详解

总体功能的一个演示

import requests

response = requests.get("https://https://www.360docs.net/doc/2114954050.html,")

https://www.360docs.net/doc/2114954050.html,

print(type(response))

print(response.status_code)

print(type(response.text))

print(response.text)

print(response.cookies)

print(response.content)

print(response.content.decode("utf-8"))

我们可以看出response使用起来确实非常方便，这里有个问题需要注意一下：很多情况下的网站如果直接response.text会出现乱码的问题，所以这个使用response.content

这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题.

请求发出后，Requests 会基于HTTP 头部对响应的编码作出有根据的推测。当你访问response.text 之时，Requests 会使用其推测的文本编码。你可以找出Requests 使用了什么编码，并且能够使用r.encoding 属性来改变它.如：

https://www.360docs.net/doc/2114954050.html,

response =requests.get("https://www.360docs.net/doc/2114954050.html,") response.encoding="utf-8"

print(response.text)

不管是通过response.content.decode("utf-8)的方式还是通过response.encoding="utf-8"的方式都可以避免乱码的问题发生各种请求方式

requests里提供个各种请求方式

import requests

requests.post("https://www.360docs.net/doc/2114954050.html,/post")

requests.put("https://www.360docs.net/doc/2114954050.html,/put")

requests.delete("https://www.360docs.net/doc/2114954050.html,/delete")

requests.head("https://www.360docs.net/doc/2114954050.html,/get")

requests.options("https://www.360docs.net/doc/2114954050.html,/get")

基本GET请求

import requests

https://www.360docs.net/doc/2114954050.html,

response = requests.get('

print(response.text)

带参数的GET请求，例子1

import requests

response = requests.get("

print(response.text)

三、使用pycurl进行web提交

PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的URL 传输库。

由于PycURl 是由C语言原生实现的，所以一般来说会比其会比纯python实现的liburl、liburl2模块快不少，可能也会比Requests的效率更高。特别是使用PycURL的多并发请求时，效率更高。

https://www.360docs.net/doc/2114954050.html,

pycurl 的用法

示例1：以下是一个通过get方法获取大众点评杭州站页面的请求时间统计和字符统计的一个用法，也可以将结果显示，只需要将最后一行的打开即可。

#! /usr/bin/env python

# -*- coding: utf-8 -*-

import sys

import pycurl

import time

class Test:

def __init__(self):

self.contents = ''

def body_callback(self, buf):

self.contents = self.contents + buf

sys.stderr.write("Testing %sn" % pycurl.version)

start_time = time.time()

https://www.360docs.net/doc/2114954050.html,

url = 'https://www.360docs.net/doc/2114954050.html,/hangzhou'

t = Test()

c = pycurl.Curl()

c.setopt(c.URL, url)

c.setopt(c.WRITEFUNCTION, t.body_callback)

c.perform()

end_time = time.time()

duration = end_time - start_time

print c.getinfo(pycurl.HTTP_CODE), c.getinfo(pycurl.EFFECTIVE_URL) c.close()

print 'pycurl takes %s seconds to get %s ' % (duration, url)

print 'lenth of the content is %d' % len(t.contents)

#print(t.contents)

https://www.360docs.net/doc/2114954050.html,

四、使用python selenium抓取网页数据

针对动态网页，这里讲一个简单的原理，大部分动态的部分会放在html里面的js代码里面，这个时候就需要用到，是一个内置的浏览器webdriver。所谓内置的浏览器，你可以简单理解为一个看不到的浏览器。当然也有firefox插件的浏览器，不过上面讲的内置浏览器会更常用一些。

import urllib

from bs4 import BeautifulSoup

from selenium import webdriver

import time

import csv

csvFile = open("F:/workspace/haha.csv",'w+')

writer = csv.writer(csvFile)

# Animation

writer.writerow(('bilibili',' ',' ',' ',' ',' '))

https://www.360docs.net/doc/2114954050.html,

writer.writerow(('paimin','minchen','bofangshu','danmushu','zonghezhis hu'))

driverThree =

webdriver.PhantomJS()driverThree.get("https://www.360docs.net/doc/2114954050.html,/ranking #!/bangumi/0/0/7/")

time.sleep(5)

pageSourceThree = driverThree.page_source

bs0bjThree = BeautifulSoup(pageSourceThree,"html.parser")

j = bs0bjThree.findAll("div",{"class":"title"})

k = bs0bjThree.findAll("div",{"class":"pts"})

l = bs0bjThree.findAll("span",{"class":"data-box play"})

m = bs0bjThree.findAll("span",{"class":"data-box dm"})

for b in range(10):

titleThree = j[b].get_text()

IndexThre = k[b].get_text()

https://www.360docs.net/doc/2114954050.html,

num = len(IndexThre)

IndexThree = IndexThre[0:num-4]

bofangliang = l[b].get_text()

danmuliang = m[b].get_text()

writer.writerow((b+1,titleThree,bofangliang,danmuliang,IndexThree)) driverThree.close()

# Comic

writer.writerow(('tecentac',' ',' ',' '))

writer.writerow(('paimin','minchen','piaoshu'))

driverFour =

webdriver.PhantomJS()driverFour.get("https://www.360docs.net/doc/2114954050.html,/Rank/") time.sleep(5)

pageSourceFour = driverFour.page_source

bs0bjFour = BeautifulSoup(pageSourceFour,"html.parser")

https://www.360docs.net/doc/2114954050.html,

n = bs0bjFour.findAll("a",{"class":"mod-rank-name ui-left"})o =

bs0bjFour.findAll("span",{"class":"mod-rank-num ui-right"})

for c in range(10):

titleFour = n[c].get_text()

piaoshu = o[c].get_text()

writer.writerow((c+1,titleFour,piaoshu))

driverFour.close()

这个例子讲的是爬取两个网址的数据，并写入csv文档中。

第一步，通过上面讲的内置浏览器，解析出页面的js代码，然后抓取其动态的部分

第二步，和前面一样，了解标签的规律后进行循环抓取，然后写入数据库。

首先打开对应路径的csv文件，路径需要自己设置，然后进行数据爬取，最后再写入csv文件。打开csv文件，可以看到这些数据。当然，后续你也可以针对csv文件进行读取工作，不过，后面会讲到写入数据库的做法。这个应用场景会更多一些。

https://www.360docs.net/doc/2114954050.html,

相关文章阅读：

美团商家信息采集：https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/mtsj_7.html

使用八爪鱼v7采集企查查企业信息：

https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/qichachacj.html

天猫店铺数据的采集方法：https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/tmdpcj-7.html 百度地图坐标内容采集方法：

https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/bddtzbcj.html

彩票开奖数据采集：https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/cpkjdatacj.html

起点中文网小说采集方法以及详细步骤：

https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/qidianstorycj.html

亚马逊商品评论采集：https://www.360docs.net/doc/2114954050.html,/tutorialdetail-1/ymxspplcj.html

八爪鱼——90万用户选择的网页数据采集器。

https://www.360docs.net/doc/2114954050.html,

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。