本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器希望本文所述对大家的Python程序设计有所帮助。

python使用自定义user-agent抓取网页的方法