ethical brands sample scraper 源码

道德品牌样品刮板 为了防止滥用,我没有发布实际的抓取工具,而是上传了一个示例抓取工具,该示例抓取工具从示例网站收集产品数据和图像,并将其上传到Firebase和Cloud Storage。 要运行抓取工具,您将需要替换一些Firebase配置()和蜘蛛URL目标( )。 之后,运行: scrapy crawl sampleBrandX 该存储库还包含适当的配置,以使其可以在 (以前称为Scrapinghub)上工作。 为此,只需将您的存储库连接到您的帐户,然后在UI上运行Spider。