kafka twitter spark streaming:实时计算每个用户的推文 源码
Apache Kafka的Twitter和Spark流 该项目实时统计每个用户包含#GoTS7主题标签的推文。 此外,还会打印用户名和推文计数。 代码说明 身份验证操作已通过Python的Tweepy模块完成。 为Twitter流创建了名为KafkaPushListener的StreamListener。 StreamListener为Kafka Consumer生成数据。 产生的数据已被过滤掉,其中包括《权力的游戏》主题标签。 创建SparkContext来连接Spark集群。 创建了使用“ twitter”主题中的数据的Kafka Consumer。 计算每个用户包含#GotS7
文件列表
kafka-twitter-spark-streaming-master.zip
(预估有个4文件)
kafka-twitter-spark-streaming-master
README.md
2KB
kafka_push_listener.py
1KB
kafka_twitter_spark_streaming.py
1KB
twitter_config.py
293B
暂无评论