Python 基于scrapyscrapyredisscrapysplash编写的爬虫

本项目基于scrapy scrapy-redis scrapy-splash编写的爬取gushiwen.org上面诗词的爬虫，在爬取的过程中将需要解析的链接存入redis，将诗词数据持久化到mysql数据库