Python 爬虫包含两个重要的部分:正则表达式和Scrapy框架的运用, 正则表达式对于所有语言都是通用的,网络上可以找到各种资源。如下是手绘Scrapy框架原理图,帮助理解如下是一段运用Scrapy创建的spider:使用了内置的crawl模板,以利用Scrapy库的CrawlSpider。爬虫类包括的属性:

python Scrapy框架原理解析

python Scrapy框架原理解析