author Wu Yang version1.0import requests requests库import os os模块提供了非常丰富的方法用来处理文件和目录import time time库import parsel匹配字符串格式解析成re xpath css的内容请求网页更改网页头部信息防止被识别拦截使用requests模块中的get函数来模拟访问并将得到的内容保存在变量response中将获得的网页内容用文本形式显示出来url https www.jdlingyu.com tag e6b885e696b0e7be8e e5a5b3headers User Agent Mozilla5.0html requests.get url url headers headers.text