最近一直在做网络爬虫的练习,现在对整个爬取过程做个总结。 配置: 电脑:MacBook Pro 系统:macOS Catalina 10.15.3 Python版本:3.8 Python IDE:PyCharm 数据库:Mysql 数据库管理工具:Navicat Premium 正式进入正题 scrapy初体验 scrapy安装我前面有在macOS成功在python3环境下安装Scrapy中提到,这里就不细讲。 Scrapy框架的使用 1、使用scrapy staryproject命令来创建一个项目 2、进入项目目录,创建爬虫spider类文件 3、进入items.py创建自己的Item内容类