网络爬虫爬取网页链接

使用java语言快捷的爬取整个网页的源代码,并且将爬取成功的网页代码与出现错误的网址的错误信息保存到本地文件中.

Python web crawler crawls the entire webpage

利用ruby技术实现网络爬虫爬取Ajax

爬虫爬取网站后存入本地文件，主要是中文字。可以学习

此工具可用于网页数据的爬取，代码中本身就有一个demo，自行参考使用

爬图片，主要正则匹配到的url也不是真正的视频地址，打开那个视频url后你会发现浏览器地址栏上的地址变了，最好用mitmproxy抓包手机上的视频链接，那个链接才是真正的视频地址，而且没有水印的哦

爬去某网站的图片 parse包中主要是网页解析器类 HttpUtil类是网络请求的工具类 RequestThread类作为网络请求给一个URl地址并自动转化为所需要的Bean对象的集合并返回 OkHt

C++ web crawler, crawling pictures

C#网页爬虫，针对一个网站，爬取解析出的所有的超链接，以实现所有站点资源的下载。本代码是在以为大神的基础上经过修改而成。

需要有爬虫基础,比较适合初学者,一个小爬虫项目,可以爬取多个网址