Scrapy爬虫项目——阿里文学&当当网

1. Cmd命令行创建项目 创建项目命令: scrapy startproject [项目名] Items定义要爬取的东西;spiders文件夹下可以放多个爬虫文件;pipelines爬虫后处理的文件,例如爬取的信息要写入数据库;settings项目设置 2. Scrapy常用模板 Scrapy-般通过指令管理爬虫项目,常用的指令有: (1) startproject创建爬虫项目 basic基础模板(最常用);crawl通用爬虫模板;csvfeed爬取csv格式的模板;xmlfeed爬取xml格式的模板 (2) genspider -I查看爬虫模板 (3)genspider -t模版