用spark Streamming 将mysql的数据 展示到控制台
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了用spark Streamming 将mysql的数据 展示到控制台,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1924字,纯文字阅读大概需要3分钟。
内容图文
![用spark Streamming 将mysql的数据 展示到控制台](/upload/InfoBanner/zyjiaocheng/895/758787ee61f344babb92d6e59dd81269.jpg)
第一步
依赖
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
<version>2.4.3</version>
</dependency>
drver编写
import org.apache.kafka.clients.consumer.ConsumerConfig
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
import org.apache.spark.streaming.{Seconds, StreamingContext}
object DirectKafkaWordCount {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setAppName("DirectKafkaWordCount").setMaster("local[6]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
ssc.sparkContext.setLogLevel("FATAL")
val kafkaParams = Map[String, Object](
ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> "CentOS:9092",
ConsumerConfig.GROUP_ID_CONFIG -> "g1",
ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG -> classOf[StringDeserializer],
ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG -> classOf[StringDeserializer])
//直接读取Kafka中的数据 将kafka独立维护Kafka topic的offset偏移量 checkpoint
val messages = KafkaUtils.createDirectStream[String, String](ssc,
LocationStrategies.PreferConsistent,//设置读取策略,如果你的spark计算节点和kafka broker节点不在一台物理主机
ConsumerStrategies.Subscribe[String, String](List("topic01"), kafkaParams))
messages.map(record=>record.value)
.flatMap(line=>line.split(" "))
.map(word => (word, 1L))
.reduceByKey(_ + _)
.print()
ssc.start()
ssc.awaitTermination()
}
}
启动 kafka 测试
./bin/kafka-server-start.sh -daemon config/server.properties3628
> Kafka
./bin/kafka-topics.sh --zookeeper spark:2181 --create --topic topic01 --partitions 1 --replication-factor 1
Created topic "topic01".
./bin/kafka-console-producer.sh --broker-list spark:9092 --topic topic01
>d
>hellp oo oo
>
控制台输出
Time: 1565955684000 ms
-------------------------------------------
(oo,2)
(hellp,1)
---------------------
内容总结
以上是互联网集市为您收集整理的用spark Streamming 将mysql的数据 展示到控制台全部内容,希望文章能够帮你解决用spark Streamming 将mysql的数据 展示到控制台所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。