输入一个商品名称从京东商城上抓取搜索到的商品信息至少包括商品标题详情页url品牌店铺名称商品评价数评价的文本
设计图形界面可以使用tkinter进行图形化界面设计用户可以输入商品名称图形化界面中需要输入框和按钮用于实现此功能输入框获得商品名称按钮点击运行爬虫需要获得数据至少包括商品标题详情页url品牌店铺名称商品名称商品评价数评价的文本这些数据需要分别从商品搜索页和商品详细页进行爬取其中部分数据需要进行特殊处理才能取得详细页url网站中的url并不完整需要进行urljoin拼接才能获得完整url item.jd.com13836773522.html商品名称商品名称和商品标题不能一概而论商品名称在商品详细页需要下滑后动态加载品牌商品详细页需要下滑后动态加载评价文本商品详细页点击商品评价按钮后动态加载存在分页一页10条数据保存数据到MongoDB或者Redis在pipelines中进行以上操作展示评论数最高的名称相同的三个商品的评价词云图包含俩个条件1.评价数最高2.商品名称型号相同使用wordcloud生成词云图
文件列表
JD_Spider-master.zip
(预估有个30文件)
JD_Spider-master
main.py
5KB
scrapy.cfg
261B
JD_Spider
__init__.py
0B
pipelines.py
1KB
spiders
__init__.py
161B
jd_spider.py
4KB
__pycache__
暂无评论