python爬取招聘要求等信息实例

在我们人生的路途中，找工作是每个人都会经历的阶段，小编曾经也是苦苦求职大军中的一员。怀着对以后的规划和想象，我们在找工作的时候，会看一些招聘信息，然后从中挑选合适的岗位。不过招聘的岗位每个公司都有不少的需求，我们如何从中获取数据，来进行针对岗位方面的查找呢？大致流程如下：1.从代码中取出pid2.根据pid拼接网址 => 得到 detail_url，使用requests.get，防止爬虫挂掉，一旦发现爬取的detail重复，就重新启动爬虫3.根据detail_url获取网页html信息 => requests - > html，使用BeautifulSoup若爬取太快，就等着解封4.根据html得到soup => soup5.从soup中获取特定元素内容 => 岗位信息6.保存数据到MongoDB中代码：最终结果就是在MongoBooster中看到新增了detail和location的数据内容