python爬取准备四 定义Opener和设置代理IP

[复制链接]

1275

主题

1275

帖子

1013

积分

金牌会员

Rank: 6Rank: 6

积分
1013
分享到:
发表于 2022-7-28 10:01:54 | 显示全部楼层 |阅读模式
Handler和Opener

Handler处理器和自定义Opener

opener是urllib2.OpenerDirector的实例,我们之前一直在使用urlopen,它是一个特殊的opener(也就是我们构建好的)。
但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高级功能。所有要支持这些功能:
1.使用相关的Handler处理器来创建特定功能的处理器对象;
2.然后通过urllib2.build_opener()方法使用这些处理器对象,创建自定义opener对象;
3.使用自定义的opener对象,调用open()方法发送请求。
如果程序里所有的请求都使用自定义的opener,可以使用urllib2.install_open()将自定义的opener对象定义为全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)

自定义opener()

# _*_ coding:utf-8 _*_import urllib2# 构建一个HTTPHandler处理器对象,支持处理HTTP的请求http_handler = urllib2.HTTPHandler()# 调用build_opener()方法构建一个自定义的opener对象,参数是构建的处理器对象opener = urllib2.build_opener(http_handler)request = urllib2.Request('http://www.139.com')# 调用自定义opener对象的open()方法,发送request请求response = opener.open(request) print response.read()设置代理IP

很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。
所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。
urllib2中通过ProxyHandler来设置使用代理服务器,使用自定义opener来使用代理:
代理IP网站:http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

# _*_ coding:utf-8 _*_import urllib2# 构建一个Handler处理器对象,参数是一个字典类型,包括代理类型和代理服务器IP+Porthttpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})#使用代理opener = urllib2.build_opener(httpproxy_handler)request = urllib2.Request('http://www.baidu.com/s')#1 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。response = opener.open(request)#12如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。#urllib2.install_opener(opener)#response = urllib2.urlopen(request)print response.read()

使用高级回帖 (可批量传图、插入视频等)快速回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
快速回复 返回顶部 返回列表