scrapy爬虫项目爬取腾讯，斗鱼

1、Scrapy的简介。主要知识点：Scrapy的架构和运作流程。1搭建开发环境：主要知识点：Windows及Linux环境下Scrapy的安装。2、ScrapyShell以及ScrapySelectors的使用。3、使用Scrapy完成网站信息的爬取。主要知识点：创建Scrapy项目(scrapystartproject)、定义提取的结构化数据(Item)、编写爬取网站的Spider并提取出结构化数据(Item)、编写ItemPipelines来存储提取到的Item(即结构化数据)。