分布式爬虫框架Cola.zip
Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。pip install pyyaml安装下载或者用gitclone源码,假设在目录/to/pth/cola,将该路径添加到Pythonpath中。一种简单的方法是在site-packages中添加pth文件。site-packages因系统而异,如果是windows,假设python装在C:\python27,那么就是C:\python27\Lib\site-packages;如果是linux,那么应该是/usr/local/lib/pythonX.X/dist-packages。在site-packages下新建
用户评论
推荐下载
-
分布式lua开发框架distri.lua.zip
distri.lua是一套lua并发网络框架,目标在于帮助开发人员快速的构建小型网络游戏服务端,web应用程序及小型的分布式系统.特色: 高效的网络事件循环 支持协程,提供同步的网络接口及
22 2020-11-26 -
故障容忍分布式协调框架Atomix.zip
Atomix是JAVA8的故障容忍分布式协调框架。Fault-tolerantdistributedcoordinationframeworkforJava8主要特性:可靠:数据一致性简单:提供极其简
15 2019-10-12 -
分布式数据平台框架Azure DDP.zip
Azure-DDP 是 Azure Virtual Machines 上用来构建分布式数据平台的框架。它支持多平台,如:Hadoop、Cassandra 和 MongoDB。 标签:Azure
13 2020-07-21 -
分布式相关面试题汇总分布式锁分布式事务分布式缓存分布式ID
分布式场景下的解决方案
15 2023-01-12 -
深入理解Python分布式爬虫原理
本篇文章主要介绍了深入理解Python分布式爬虫原理,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
27 2020-09-29 -
python分布式爬虫视频教程源码
Python实战:分布式爬虫视频教程+源码,无需编程基础,带你学到如何从网上批量获得几十万数据,如何处理海量大数据,数据可视化及网站制作。
46 2019-03-12 -
scrapy_redis分布式爬虫demo全站
Scrapy-redis distributed crawler demo full station
25 2019-06-27 -
分布式书籍网络爬虫基于Python开发
利用Python实现分布式书籍网络爬虫
7 2024-05-03 -
高效分布式爬虫工具包下载
在进行互联网数据抓取时,为了提高效率和应对大规模任务,分布式爬虫成为了一种常见的选择。对于实现分布式爬虫的需求,有一款备受推崇的工具包,即distribute_crawler-master.zip。这
12 2023-11-12 -
Python SuningBookSpider基于redisscrapy的分布式爬虫
SuningBookSpider 基于redisscrapy的分布式爬虫
16 2020-07-26
暂无评论