IMDB Web搜寻器 Web搜寻器是通常称为蜘蛛机器人或搜寻器的计算机程序,它们会自动扫描Web上的文档以从非结构化源生成结构化数据。 搜索引擎最常使用Web爬网程序在其他网页上创建索引,为研究目的挖掘数据或监视跟踪产品价格或评论趋势的系统。 PersusBetaSpider是使用Python的Scrapy框架开发的网络爬虫。 搜寻器会在IMDB上刮取与前250首电影相对应的相关详细信息,并使用每个电影的抓取数据生成JSON净荷,然后将数据发布到压缩的kafka主题上。 kafka主题又可以用作将数据转储到其他数据库系统(如Postgres或ElasticSearch)以查询或可视化所收集数据的源。 前流氓 Python cra草 水蟒 阿帕奇·卡夫卡(Apache Kafka) 使用Anaconda设置Scrapy 是用于科学计算(数据科学,机器学习应用程序,大规模数据处理,预测