Python3 实现大众点评网酒店信息和酒店评论的网页爬虫
内容: 根据已有的的"大众点评网"酒店主页的URL地址,自动抓取所需要的酒店的名称、图片、经纬度、酒店价格、用户评论数量以及用户评论的用户ID、用户名字、评分、评论时间等,并且将爬取成功的内容存放到.txt文档中。 平台:Python 3.5.3;Eclipse for Pydev 主程序:DianpingSpider.py 注意:设置了时间,模拟器等,较为有效地防止大众点评网的反爬虫结束检测到同一个IP访问频繁而屏蔽爬取,但是未能实现IP代理。
文件列表
DianPingSpider.zip
(预估有个11文件)
DianPingSpider
PriceAndScores.py
1KB
DianpingSpider.py
9KB
picture.py
1KB
urlspider.py
2KB
__pycache__
__init__.cpython-35.pyc
6KB
picture.cpython-35.pyc
977B
position.cpython-35.pyc
2KB
test.cpython-35.pyc
388B
用户评论