Python笔记——scrapy爬虫框架

1. scrapy框架介绍 — — python使用的最广泛的爬虫框架。 2. 创建项目:终端cmd下创建 输入命令:scrapy startproject [项目名qsbk] 生成目录结构: 1、scrapy.cfg:项目配置文件 2、items.py :定义需要爬去的字段 3、middlewares.py:中间件 4、pipelines.py:数据的处理和保存 , item为爬去的数据 5、settings:配置文件 6、spiders:爬虫文件 3. 创建爬虫: 输入命令:cd qsbk # 进入项目路径 输入命令:scrap