#php start.php，停止命令为#php stop.php。运行环境要求：PHP版本需不低于7.0，需配置swoole扩展与redis扩展。执行步骤：1. 运行php tastqueue.php，安排任务队列queue；2. 利用swoole启动分布式任务，每五分钟执行一次；3. 使用QueryList采集queue队列，将整理好的数据入库。爬虫特点：1. 执行失败的任务会进入errorlist队列；2. 任务失败时，会自动重新检测代理池，移除失效代理；3. 依赖库包括jaeger/querylist和illuminate/database；4. 采集规则写于Pickup::setRule()方法中；5. 定义开启的爬虫数量可通过修改Server::$count实现；6. 支持随机代理和随机age。100%开源，操作简便。可用于个人研究和学习。如需商业应用，请自行评估风险。二次修改需遵循开源协议。
暂无评论