lesa crawler:用于LESA的基于Scrapy的Web爬网程序 源码

LESA履带式 一个Web搜寻器,在Docker容器化应用程序架构之上使用Elasticsearch,Kibana,Scrapy框架和Splash javascript呈现服务,该架构旨在从LESA票证中检索数据。 入门 由于当前的LESA不提供任何类型的REST API来从票证中检索数据,因此我已经开始开发一个Web搜寻器,该Web搜寻器通过Xpath查询来获取数据。 检索到的所有数据都存储在Elasticsearch索引中,可以通过Kibana对其进行可视化。 先决条件 要运行此应用,您需要安装: Docker(版本17.09.0+) docker-compose(版本1.16.1+) 配置 克隆此项目。 用您的LESA屏幕名称和时区替换SCREEN_NAME和TIME_ZONE值: # lesa-crawler/crawler/lesaticket/custom_settin