基于分布式网络爬虫的站点分析系统设计与实现,王朴野,,随着互联网的不断发展,网络中可获取的数据量呈爆炸式增长。为了批量的获取网络信息,分析网站架构及内容,网络爬虫技术应运而生