学习笔记 爬取X度某吧里的小图片们 写个小案例,获取X度里,你指定的吧里,第kkk页之前所有帖子内的图片,当然这个kkk由你定。 爬取步骤 1获取用户指定吧名和指定页数,得到贴吧主页URL。 2获取1页中所有帖子URL地址,并获取本吧的最大页数。 3for循环每个帖子的URL地址,对每个帖子链接发请求 4获取一个帖子的最大页数,遍历帖子内所有页里的图片 5拿到图片的链接后,获取图片以wb的形式,保存到mysql数据库。 6第1页处理完后,再处理第2页,以此类推...直到处理到用户指定页面数。 总结一下!我们需要用Xpath获取贴吧内帖子的url,帖子内所有图片的url; 并且用正则表达式匹配某个