Scrapy爬虫--获取全国三百多个城市PM25等环境状况

自己整理的Scrapy爬虫笔记

一个简单爬虫工程代码，结构齐全，可直接使用，与博客文章同步分享。

这是一个基于python的scrapy框架的爬虫，用于爬取知乎用户、话题、搜索等信息，抓取的信息通过mysql储存

使用scrapy爬虫框架爬取京东/天猫/滚雪球等主流网站，并存入mongodb数据库中

几个scrapy独立程序，爬取的内容包括博客园，Coursera，豆瓣，小百合，知乎等网站。

基于scrapy的爬虫小例子，用python3编写，成功爬取指定网址网页内容

主要讲解了利用Python语言使用scrapy爬虫框架的一些案例

Scrapy distributed crawler

Python网络爬虫实战Scrapy视频（完整）（百度云链接-永久有效）

2.3 制作scrapy爬虫步骤：1.创建项目：通过来创建一个项目2.明确目标：编写items.py文件，定义提取的Item3.制作爬虫：编写spiders/xx.py文件，爬取网站并提取Item4.