当前位置: 首页 > news >正文

企业网站建设时优化关键词的问题网站怎么做架构图

企业网站建设时优化关键词的问题,网站怎么做架构图,网站布局设计步骤,进网站显示建设中怎么解决简介#xff1a; Kafka是一个分布式流处理平台#xff0c;主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发#xff0c;现在由Apache Software Foundation维护和开发。 Kafka的核心是一个分布式发布-订阅消息系统#xff0c;它可以处理大量的消息流#…简介 Kafka是一个分布式流处理平台主要用于处理高吞吐量的实时数据流。Kafka最初由LinkedIn公司开发现在由Apache Software Foundation维护和开发。 Kafka的核心是一个分布式发布-订阅消息系统它可以处理大量的消息流并将它们传递给多个消费者。Kafka的消息被组织成多个主题Topic每个主题可以有多个分区Partition每个分区可以有多个副本Replica。生产者Producer将消息发布到主题中消费者Consumer从主题中订阅消息并处理它们。 Kafka的设计目标是高吞吐量、低延迟、高可靠性和可扩展性。它使用了一些优秀的技术来实现这些目标如零拷贝技术、批量处理、压缩、异步IO等。Kafka还提供了许多额外的功能如流处理、连接器Connectors和管理工具。 Kafka已经被广泛应用于许多领域如日志收集、事件处理、实时分析、监控等。它是一个高性能、可靠、可扩展的分布式流处理平台可以帮助企业更好地处理和管理海量数据。 服务器 软件版本jdk-8u121-linux-x64.tar.gz、kafka_2.11-2.0.0.tgz 示例节点192.168.58.158 1.安装配置jdk8 1Kafka、Zookeeper简称ZK运行依赖jdk8 (三台均安装) [rootkafka1 ~]# tar zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/ [rootkafka1 ~]# mv /usr/local/jdk1.8.0_211 /usr/local/java [rootkafka1 ~]# echo JAVA_HOME/usr/local/java PATH$JAVA_HOME/bin:$PATH export JAVA_HOME PATH/etc/profile.d/java.sh [rootkafka1 ~]# source /etc/profile.d/java.sh 2.安装配置ZK Kafka运行依赖ZKKafka官网提供的tar包中已经包含了ZK这里不再额下载ZK程序。三台服务器均安装 1安装 [rootkafka1 ~]# tar zxvf kafka_2.11-2.0.0.tgz -C /usr/local/ 2配置   [rootkafka1 ~]# echo dataDir/opt/data/zookeeper/data dataLogDir/opt/data/zookeeper/logs clientPort2181 tickTime2000 initLimit20 syncLimit10 server.1192.168.58.158:2888:3888 server.2192.168.58.159:2888:3888 server.3192.168.58.160:2888:3888/usr/local/kafka_2.11-2.0.0/config/zookeeper.properties 配置项含义 dataDir ZK数据存放目录。 dataLogDir ZK日志存放目录。 clientPort 客户端连接ZK服务的端口。 tickTime ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。 initLimit 允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间以tickTime为单位。当初始化连接时间超过该值则表示连接失败。 syncLimit Leader与Follower之间发送消息时请求和应答时间长度。如果follower在设置时间内不能与leader通信那么此follower将会被丢弃。 server.1172.16.244.31:2888:3888 2888是follower与leader交换信息的端口3888是当leader挂了时用来执行选举时服务器相互通信的端口。 创建目录 创建data、log目录 [rootkafka1 ~]# mkdir -p /opt/data/zookeeper/{data,logs} [rootkafka2 ~]# mkdir -p /opt/data/zookeeper/{data,logs} [rootkafka3 ~]# mkdir -p /opt/data/zookeeper/{data,logs}创建myid文件此处的myid文件需与相应的IP地址对应否则可能会出现拒绝连接的错误 # 创建myid文件 [rootkafka1 ~]# echo 1 /opt/data/zookeeper/data/myid [rootkafka1 ~]# echo 2 /opt/data/zookeeper/data/myid [rootkafka1 ~]# echo 3 /opt/data/zookeeper/data/myid 3.配置Kafka 1配置 kafka1        192.168.58.158         1 kafka2        192.168.58.159         2 kafka3        192.168.58.160         3 [rootkafka1 ~]# cat /usr/local/kafka_2.11-2.0.0/config/server.properties broker.id1 # 这里的id要与IP对应 listenersPLAINTEXT://192.168.58.158:9092 #本机IP地址 num.network.threads3 num.io.threads8 socket.send.buffer.bytes102400 socket.receive.buffer.bytes102400 socket.request.max.bytes104857600 log.dirs/opt/data/kafka/logs num.partitions6 num.recovery.threads.per.data.dir1 offsets.topic.replication.factor2 transaction.state.log.replication.factor1 transaction.state.log.min.isr1 log.retention.hours168 log.segment.bytes536870912 log.retention.check.interval.ms300000 zookeeper.connect192.168.58.158:2181,192.168.58.159:2181,192.168.58.160:2181 zookeeper.connection.timeout.ms6000 group.initial.rebalance.delay.ms0 配置项含义 broker.id 每个server需要单独配置broker id如果不配置系统会自动配置。 listeners 监听地址格式PLAINTEXT://IP:端口。 num.network.threads 接收和发送网络信息的线程数。 num.io.threads 服务器用于处理请求的线程数其中可能包括磁盘I/O。 socket.send.buffer.bytes 套接字服务器使用的发送缓冲区(SO_SNDBUF) socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区(SO_RCVBUF) socket.request.max.bytes 套接字服务器将接受的请求的最大大小(防止OOM) log.dirs 日志文件目录。 num.partitions partition数量。 num.recovery.threads.per.data.dir 在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量默认1。 offsets.topic.replication.factor 偏移量话题的复制因子设置更高保证可用为了保证有效的复制偏移话题的复制因子是可配置的在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小否则要么话题创建失败要么复制因子取可用broker的数量和配置复制因子的最小值。 log.retention.hours 日志文件删除之前保留的时间单位小时默认168 log.segment.bytes 单个日志文件的大小默认1073741824 log.retention.check.interval.ms 检查日志段以查看是否可以根据保留策略删除它们的时间间隔。 zookeeper.connect ZK主机地址如果zookeeper是集群则以逗号隔开。 zookeeper.connection.timeout.ms 连接到Zookeeper的超时时间。 创建log目录 [rootkafka1 ~]# mkdir -p /opt/data/kafka/logs [rootkafka2 ~]# mkdir -p /opt/data/kafka/logs [rootkafka3 ~]# mkdir -p /opt/data/kafka/logs 4、其他kafka节点配置 只需把配置好的安装包直接分发到其他节点然后修改ZK的myidKafka的broker.id和listeners就可以了。 5、启动、验证ZK集群 1启动 在三个节点依次执行 [rootkafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/ [rootkafka1 ~]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties 2验证 查看ZK配置(三台均可查看) # 下载nmap [rootkafka1 ~]# yum install nmap [rootkafka1 ~]# echo conf | nc 127.0.0.1 2181 clientPort2181 dataDir/opt/data/zookeeper/data/version-2 dataLogDir/opt/data/zookeeper/logs/version-2 tickTime2000 maxClientCnxns60 minSessionTimeout4000 maxSessionTimeout40000 serverId1 initLimit20 syncLimit10 electionAlg3 electionPort3888 quorumPort2888 peerType0 查看ZK状态三台均可查看 [rootkafka1 ~]# echo stat |nc 127.0.0.1 2181 Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT Clients:/127.0.0.1:51876[0](queued0,recved1,sent0)Latency min/avg/max: 0/0/0 Received: 2 Sent: 1 Connections: 1 Outstanding: 0 Zxid: 0x0 Mode: follower Node count: 4 查看端口 [rootkafka1 ~]# lsof -i:2181 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 15002 root 98u IPv4 43385 0t0 TCP *:eforward (LISTEN) 6、启动、验证Kafka 1启动 在三个节点依次执行 [rootkafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/ [rootkafka1 ~]# nohup bin/kafka-server-start.sh config/server.properties 2验证 在192.168.58.158上创建topic [rootkafka1 ~]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic Created topic testtopic. 查询192.168.58.158上的topic [rootkafka1 ~]# bin/kafka-topics.sh --zookeeper 192.168.58.158:2181 --list testtopic 查询192.168.58.159上的topic [rootkafka1 ~]# bin/kafka-topics.sh --zookeeper 192.168.58.159:2181 --list testtopic 查询192.168.58.160上的topic   [rootkafka1 ~]# bin/kafka-topics.sh --zookeeper 192.168.58.160:2181 --list testtopic 模拟消息生产和消费 发送消息到192.168.58.158 [rootkafka1 kafka_2.11-2.0.0]# bin/kafka-console-producer.sh --broker-list 192.168.58.158:9092 --topic testtopic 世界你好 好好爱自己哦 ^C [rootelk kafka_2.11-2.0.0]# 从192.168.58.159接受消息 [rootkafka2 kafka_2.11-2.0.0]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.58.158:9092 --topic testtopic --from-beginning 世界你好 好好爱自己哦 ^C Processed a total of 2 messages [rootksfks2 kafka_2.11-2.0.0]# 完毕
http://www.sadfv.cn/news/143596/

相关文章:

  • 优购物官方网站女鞋中石油网站建设
  • 石家庄做网站seo保定企业建网站
  • 整站seo包年费用手工活外发加工无押金
  • 影响网站权重的因素有哪些毕业设计ppt答辩模板
  • 做微商卖产品在哪个网站销量能好点临沂网站设计
  • 凡科可以建设多个网站吗snippets wordpress
  • 网站制作公司官网南京手机可怎么样做网站
  • 昆明市建设厅网站中山 灯饰 骏域网站建设专家
  • 网站服务器上线后要怎么做网站更换域名备案吗
  • 建站代理电子商务网站建设规划方案论文
  • 有哪些可以做图的网站啊建站公司走量渠道
  • 湖北省建设信息港网站商业网站建设费用
  • dede旅游网站个人网站用什么建站程序
  • ajax做网站iis怎么做ip网站吗
  • 网站设置在设备之间共享什么意思牧风的在wordpress
  • 广州 flash 网站做网站优化的工资有多高
  • 哪个网站可以做身份核验惠州做网站公司哪家好
  • 公司怎样建自己网站为何网站打不开
  • 网上帮别人做网站珠海做小程序的公司
  • 建湖企业做网站多少钱哈尔滨建设工程招标网
  • 北沙滩网站建设公司代做网站毕业设计
  • 做电话销售需要的网站建设一个公司官网多少钱
  • 建设部网站上标准合同企业网站营销常用的方法
  • 网站备案查询怎么查深圳电信网站备案
  • 建设项目环境影响登记网站湖北wordpress图片浏览器
  • 自己做视频网站上传视频成都百度小程序开发
  • 怎样做自己的 优惠卷网站宣传网站建设方案
  • 网站开发 自我评价wordpress样式切换功能
  • 丰台网站建设推广seo南京建设集团网站
  • 句容本地网站网站建设 专项资金变更