python使用自定义user-agent抓取网页的方法
时间：2020-11-16 11:40:26|栏目：Python代码|点击： 次
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
上一篇：python利用MethodType绑定方法到类示例代码
栏 目：Python代码
下一篇：win10系统下python3安装及pip换源和使用教程
本文标题：python使用自定义user-agent抓取网页的方法
本文地址：http://www.codeinn.net/misctech/23064.html
