1.爬虫:采用Scrapy分布式爬虫技术,使用mongodb作为数据存储,爬取的网站Demo为51job,数据我目前爬了有几千条2.数据处理:采用pandas对爬取的数据进行清晰和处理2.数据分析:采用flask后端获取mongodb数据,前端使用bootstrap3.echarts以及D3的词云图