fb_scraper:FBLYZE是一个Facebook抓取系统和分析系统 源码
FBLYZE:Facebook页面和群组抓取和分析系统。 。 该项目的目标是实施Facebook抓取和提取引擎。 该项目最初基于minimaxir的刮板,您可以在找到。 但是,我们的项目旨在进一步迈出这一步,并创建一个连续的刮擦和处理系统,可以轻松地将其部署到生产中。 具体来说,出于我们的目的,我们希望提取有关即将进行的划艇聚会的信息,事件信息,流量信息以及其他与河流有关的报告。 但是,该项目对需要定期剪贴FB页面或组的任何人都应该有用。 指示 要获取Facebook组的ID,请输入您要抓取的组的URL。 您可以在斜杠后仅使用的页面(即为paddlesoft)。 更新后,我们已切换为使用数据库来记录信息。 请参阅文档以获取修订的说明。 码头工人 我们建议您使用我们的Docker映像,因为它包含您需要的所有内容。 有关如何使用我们的Dockerfile的说明,请参阅。 我们的Docker
文件列表
fb_scraper-master.zip
(预估有个40文件)
fb_scraper-master
codefresh.yml
1KB
.gitignore
871B
pg_db.py
714B
Dockerfile
332B
aws_s3.py
596B
requirements.txt
88B
data
Streaming Data using Kafka + Spark Streaming.ipynb
461KB
files
暂无评论