用python写的多线程网页爬虫

lzhg8017 43 0 PY 2019-01-18 05:01:56

用python写了一个下载http://desk.zol.com.cn上面壁纸的爬虫,其中使用了HTMLParser模块方法分析页面,解析出每一页的入口地址,再根据入口地址分析内页的图片地址,解析内页地址使用了多线程,下载图片也是用的多线程,为了测试多线程爬虫的性能,本程序使用了50个线程分析内页图片地址,100个线程下载图片,自动下载,整个过程只需要动几下鼠标,哗啦啦一堆美女图片到手,再也不用手动下载壁纸那么麻烦了。

用户评论
请输入评论内容
评分:
Generic placeholder image 卡了网匿名网友 2019-01-18 05:01:56

可以执行,一直在准备

Generic placeholder image 卡了网匿名网友 2019-01-18 05:01:56

比较好的爬虫代码,适合初学者学习

Generic placeholder image 卡了网匿名网友 2019-01-18 05:01:56

亲测可用,不过网页防爬,所以后期需要改动一些时间值。谢谢楼主分享。