智联招聘数据爬虫

项目涉及技术Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail&

系统技术架构：1需要环境操作系统：centos7.2版本2python3爬虫端（python3.6.4版本）3redis代理池（redis4.0.2版本）4mongdb数据库（mongdb3.6.4版

提供高效的采集支持，无论是建站、市场分析、电商运营、信息监控

python数据采集，爬虫，数据处理等文档，涵盖源码练习

使用爬虫爬取了4000条数据，以及在百度上搜索信息的整理，得出的一些结论，其实也没啥用，50个字好难。

OFO单车数据爬虫 Python源代码及文件，可以爬取单车骑行数据。

智联_51job招聘需求挖掘采集和分析，数据采集时间截止到2018年12月28日，数据条数为15万条，平台为智联和51_job，算是给要找工作的自己一个方向，具体的流程可以参考右边的PPT

Scrapy是一个基于Twisted,纯Python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~

Getting started with Python crawlers: How to crawl and analyze the job site

通过Python获取拉勾网职位信息，仅供大家学习参考！