Spark踩坑记——SparkStreaming+Kafka

在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结,之后简单阐述Sparkstreaming+kafka在舆情项目中的应用,最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。(如有任何纰漏欢迎补充来踩,我会第一时间改正^v^)用sparkstreaming流式处理kafka中的数据,第一