php spider:可配置和可扩展PHP网络蜘蛛 源码

向后兼容性中断的注意事项:从v0.5.0开始,不再支持Symfony EventDispatcher v3,PHP Spider需要v4或v5。 如果您坚持使用v3,则仍然可以使用PHP Spiderv0.4.x。 这样做的原因是因为EventDispatcher v5中的BC中断,我们需要支持它来跟上现代框架的发展。 PHP-Spider功能 支持两种遍历算法:广度优先和深度优先 支持爬网深度限制,队列大小限制和最大下载限制 支持基于XPath,CSS选择器或普通的旧PHP添加自定义URI发现逻辑 带有一组有用的URI过滤器,例如域限制 支持预取(URI)和后取(资源内容)的自定义URI过滤