springboot+webmagic+mybatisplus架构 小说网站爬虫

文件是本人将webmagic、mybatis-plus、HikariCP、hutool等开源项目到一个springboot项目中搭建起来的一个爬虫框架，使用了Spring的@Scheduled注解开启定时任务去开启一个爬虫，processor类负责网站的爬取，pipline类负责将爬取的内容通过Mybatis-Plus存储到MySQL数据库；去除webmagic部分，本框架也是一个完整的springboot+mybatis-plus的架构，里面用的基本上都是当前最新的技术，公布出来主要是与大家共同学习，有问题可以指出。注意：数据库结构的SQL在项目的sql文件夹下，启动项目前请修改数据库连接以及定时任务的cron表达式