小说爬取工具

java程序webmagic爬取京东商品、百度资讯代码

一个抓取新浪新闻页内容的demo,大量注释供参考，适合初学python爬虫者。

爬取豆瓣读书某一列的标签，存储为CSV格式，为了不被系统封IP，用了点小技巧

爬图片，主要正则匹配到的url也不是真正的视频地址，打开那个视频url后你会发现浏览器地址栏上的地址变了，最好用mitmproxy抓包手机上的视频链接，那个链接才是真正的视频地址，而且没有水印的哦

Crawl the body of the webpage

import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider

可以根据输入的关键字和页码数批量爬取淘宝图片下载到本地指定目录。 2018.5.10 只要淘宝网站不做大的的更新,可以一直使用。

简要介绍爬取apk操作的三种方法,使你能够简单轻便的找到自己想要下载的apk资源

python爬虫,python3.7+pyqt5+selenium3.141+mp3play,详情参考我的原创博客

文件名为：biaoqingbao.py，简单直接的方式了解爬虫。