学校网站建设设想,不得不知道网站,株洲搜索引擎优化,怎么花最少的钱做网站在 Knative 中已经提供了对 Kafka 事件源的支持#xff0c;那么如何在阿里云上基于 Kafka 实现消息推送#xff0c;本文给大家解锁这一新的姿势。
背景
消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于…在 Knative 中已经提供了对 Kafka 事件源的支持那么如何在阿里云上基于 Kafka 实现消息推送本文给大家解锁这一新的姿势。
背景
消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域已成为大数据生态中不可或缺的部分。 另外 Knative 中提供了KafkaSource事件源的支持通过这个事件源可以方便的对接 Kafka 消息服务。
在阿里云上创建 Kafka 实例
创建 Kafka 实例
登录消息队列Kafka控制台, 选择【购买实例】。由于当前Knative中Kafka事件源支持2.0.0及以上版本在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买购买之后升级到 2.0.0 即可。 部署实例并绑定 VPC
购买完成之后进行部署部署时设置 Knative 集群所在的 VPC 即可 创建 Topic 和 Consumer Group
接下来我们创建 Topic 和消费组。 进入【Topic 管理】点击创建Topic, 这里我们创建名称为demo的topic: 进入【Consumer Group 管理】,点击创建 Consumer Group, 这里我们创建名称为demo-consumer的消费组: 部署 Kafka 数据源
部署 Kafka addon 组件
登录容器服务控制台进入【Knative 组件管理】部署 Kafka addon 组件。 创建 KafkaSource 实例
首先创建用于接收事件的服务 event-display:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:name: event-display
spec:template:spec:containers:- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d
接下来创建KafkaSource
apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:name: alikafka-source
spec:consumerGroup: demo-consumer# Broker URL. Replace this with the URLs for your kafka cluster,# which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092topics: demosink:apiVersion: serving.knative.dev/v1alpha1kind: Servicename: event-display
说明
bootstrapServers: Kafka VPC访问地址consumerGroup 设置消费组topics设置Topic
创建完成之后我们可以查看对应的实例已经运行
[rootiZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
alikafka-source-k22vz-db44cc7f8-879pj 1/1 Running 0 8h
验证
在Kafka 控制台选择 topic 发送消息注意这里的消息格式必须是 json 我们可以看到已经接收到了发送过来的 Kafka 消息
[rootiZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container️ CloudEvent: valid
Context Attributes,SpecVersion: 0.2Type: dev.knative.kafka.eventSource: /apis/v1/namespaces/default/kafkasources/alikafka-source#demoID: partition:7/offset:1Time: 2019-10-18T08:50:32.492ZContentType: application/jsonExtensions: key: demo
Transport Context,URI: /Host: event-display.default.svc.cluster.localMethod: POST
Data,{key: test}
原文链接 本文为云栖社区原创内容未经允许不得转载。