分布式爬网基础架构 该软件可让您按比例爬网和刮擦Internet。 它支持通过http进行基本爬网,并借助通过操纵up来控制的高度定制的无头chrome浏览器来支持复杂的爬网。 目的是能够抓取/抓取试图锁定自动机器人的网站。我们认为,只要总体网络吞吐量是保守的,并且搜寻器不会消耗任何资源或对网站造成负担,就应该允许它从公共数据集中提取信息。 平台不拥有从客户那里收集的数据。同时,他们利用上述数据产生了很多财富。这是一种尝试,使开发人员可以再次访问公共领域中的数据。 如果您想访问通过纯http请求爬网的数据,请查看。但是,如果您需要访问仅使用激活JavaScript或规避常用检测技术的修改后的浏览指纹显示的数据,则此项目可能适合您。 想象 该项目的愿景是提供一个开放源代码的通用爬网基础结构,使它的用户能够 通过指定简单的爬网功能来爬网任何网站() 使用分布式机器爬网 根据爬网需求分配和销毁爬