springBoot+webMagic实现网站爬虫的实例代码

前端时间公司项目需要抓取各类数据，py玩的不6，只好研究Java爬虫方案，做一个总结。下面代码说明以一个类似列表的页面为例需根据链接下载图片或文件eg：在上面说到的详情页中含有iframe。在项目中创建一个包用于存放自定义（修改）的下载器类（！！！摘自webMagic框架中HttpClientDownloader，基于此类修改！！！