通过导入scrapy.pipelines.images模块和scrapy类,实现了一个处理item的pipeline。另外,还定义了一个DouyuImagePipeline类,继承自ImagesPipeline,其中包含了获取媒体资源请求的方法get_media_requests。通过调用这个方法,可以获取到item中的链接信息。
Python脚本在Douyu.zip的下载
文件列表
python 脚本Douyu.zip
(预估有个565文件)
.DS_Store
6KB
8cfcdac6b2f82218c0fe2bb8d72a1a53a7dd2f81.jpg
48KB
3bfdeabe8c48c98b0c43d9bf13f3c517ecbace56.jpg
48KB
91b62aeab1871ebd77fa686931ce7a35e6409aa8.jpg
44KB
163e46ae2b94d7d6b7a0e3745fd415fdf11efa15.jpg
67KB
11a42a5a986903149b7e5f2815d8c99e75a48b72.jpg
46KB
984ffbb09975c53014741218ef7321428556d161.jpg
45KB
477911814015beaed691bdc4095751890f3f5f1f.jpg
43KB
e0839451082932b3ca226eaa2aa43c3cf3716ca5.jpg
52KB
cdfb0ce47728ab1ef4613e126e9efe308ba2c305.jpg
45KB
暂无评论