当前位置:主页 > 软件编程 > Python代码 >

python使用自定义user-agent抓取网页的方法

时间:2020-11-16 11:40:26 | 栏目:Python代码 | 点击:

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

您可能感兴趣的文章:

相关文章