scrapy爬虫项目爬取腾讯,斗鱼
1、Scrapy的简介。主要知识点:Scrapy的架构和运作流程。1搭建开发环境:主要知识点:Windows及Linux环境下Scrapy的安装。2、ScrapyShell以及ScrapySelectors的使用。3、使用Scrapy完成网站信息的爬取。主要知识点:创建Scrapy项目(scrapystartproject)、定义提取的结构化数据(Item)、编写爬取网站的Spider并提取出结构化数据(Item)、编写ItemPipelines来存储提取到的Item(即结构化数据)。