可信赖的邵阳网站建设,wordpress 数据库解析,网站建设原理与实践,营销型网站制作平台flume系列之:记录一次消费大量Debezium数据,数据包含dml语句比较大,造成数据堆积在channel的解决方法 一、背景二、相关技术博客三、flume层面解决方法四、debezium数据采集层面解决方法一、背景 Debezium采集了大量的数据,数据包含DMl语句,数据本身比较大。flume消费了大… flume系列之:记录一次消费大量Debezium数据,数据包含dml语句比较大,造成数据堆积在channel的解决方法 一、背景二、相关技术博客三、flume层面解决方法四、debezium数据采集层面解决方法 一、背景
Debezium采集了大量的数据,数据包含DMl语句,数据本身比较大。flume消费了大量的Kafka Topic数据,数据堆积在了channel中,造成数据sink到HDFS的时间比较晚。此时延迟检测指标org_apache_flume_channel_channel1_channelfillpercentage的数据比较大,达到了80以上。现在需要快速消化完堆积的数据,保证数据的时效性二、相关技术博客