企业网站建设教程视频,更换wordpress编辑器,河北网站备案手机号码短信核验,广东注册公司流程『转载』hadoop2.x常用端口、定义方法及默认端口1.问题导读 DataNode的http服务的端口、ipc服务的端口分别是哪个#xff1f;NameNode的http服务的端口、ipc服务的端口分别是哪个#xff1f;journalnode的http服务的端口、ipc服务的端口分别是哪个#xff1f;ResourceManage…『转载』hadoop2.x常用端口、定义方法及默认端口 1.问题导读 DataNode的http服务的端口、ipc服务的端口分别是哪个 NameNode的http服务的端口、ipc服务的端口分别是哪个 journalnode的http服务的端口、ipc服务的端口分别是哪个 ResourceManager的http服务端口是哪个 NodeManager的http服务端口是哪个 Master的http服务的端口、ipc服务的端口分别是哪个 3888是谁的端口用来做什么 Hadoop集群的各部分一般都会使用到多个端口有些是daemon之间进行交互之用有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多完全记不住哪个端口对应哪个应用特收集记录如此以便查询。 这里包含我们使用到的组件HDFS, YARN, HBase, Hive, ZooKeeper: 组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs.datanode.ipc.addressipc服务的端口HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口HDFSNameNode50470dfs.namenode.https-addresshttps服务的端口HDFSNameNode8020fs.defaultFS接收Client连接的RPC端口用于获取文件系统metadata信息。HDFSjournalnode8485dfs.journalnode.rpc-addressRPC服务HDFSjournalnode8480dfs.journalnode.http-addressHTTP服务HDFSZKFC8019dfs.ha.zkfc.portZooKeeper FailoverController用于NN HAYARNResourceManager8032yarn.resourcemanager.addressRM的applications manager(ASM)端口YARNResourceManager8030yarn.resourcemanager.scheduler.addressscheduler组件的IPC端口YARNResourceManager8031yarn.resourcemanager.resource-tracker.addressIPCYARNResourceManager8033yarn.resourcemanager.admin.addressIPCYARNResourceManager8088yarn.resourcemanager.webapp.addresshttp服务端口YARNNodeManager8040yarn.nodemanager.localizer.addresslocalizer IPCYARNNodeManager8042yarn.nodemanager.webapp.addresshttp服务端口YARNNodeManager8041yarn.nodemanager.addressNM中container manager的端口YARNJobHistory Server10020mapreduce.jobhistory.addressIPCYARNJobHistory Server19888mapreduce.jobhistory.webapp.addresshttp服务端口HBaseMaster60000hbase.master.portIPCHBaseMaster60010hbase.master.info.porthttp服务端口HBaseRegionServer60020hbase.regionserver.portIPCHBaseRegionServer60030hbase.regionserver.info.porthttp服务端口HBaseHQuorumPeer2181hbase.zookeeper.property.clientPortHBase-managed ZK mode使用独立的ZooKeeper集群则不会启用该端口。HBaseHQuorumPeer2888hbase.zookeeper.peerportHBase-managed ZK mode使用独立的ZooKeeper集群则不会启用该端口。HBaseHQuorumPeer3888hbase.zookeeper.leaderportHBase-managed ZK mode使用独立的ZooKeeper集群则不会启用该端口。HiveMetastore9083/etc/default/hive-metastore中export PORTport来更新默认端口 HiveHiveServer10000/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORTport来更新默认端口 ZooKeeperServer2181/etc/zookeeper/conf/zoo.cfg中clientPortport对客户端提供服务的端口ZooKeeperServer2888/etc/zookeeper/conf/zoo.cfg中server.x[hostname]:nnnnn[:nnnnn]标蓝部分follower用来连接到leader只在leader上监听该端口。ZooKeeperServer3888/etc/zookeeper/conf/zoo.cfg中server.x[hostname]:nnnnn[:nnnnn]标蓝部分 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 补充一些内容需要知道的默认配置在Hadoop 2.2.0中YARN框架有很多默认的参数值如果你是在机器资源比较不足的情况下需要修改这些默认值来满足一些任务需要。 NodeManager和ResourceManager都是在yarn-site.xml文件中配置的而运行MapReduce任务时是在mapred-site.xml中进行配置的。下面看一下相关的参数及其默认值情况 参数名称 默认值 进程名称 配置文件 含义说明 yarn.nodemanager.resource.memory-mb8192NodeManageryarn-site.xml从节点所在物理主机的可用物理内存总量yarn.nodemanager.resource.cpu-vcores8NodeManageryarn-site.xml节点所在物理主机的可用虚拟CPU资源总数coreyarn.nodemanager.vmem-pmem-ratio2.1NodeManageryarn-site.xml使用1M物理内存最多可以使用的虚拟内存数量yarn.scheduler.minimum-allocation-mb1024ResourceManageryarn-site.xml一次申请分配内存资源的最小数量yarn.scheduler.maximum-allocation-mb8192ResourceManageryarn-site.xml一次申请分配内存资源的最大数量yarn.scheduler.minimum-allocation-vcores1ResourceManageryarn-site.xml一次申请分配虚拟CPU资源最小数量yarn.scheduler.maximum-allocation-vcores8ResourceManageryarn-site.xml一次申请分配虚拟CPU资源最大数量mapreduce.framework.namelocalMapReducemapred-site.xml取值local、classic或yarn其中之一如果不是yarn则不会使用YARN集群来实现资源的分配mapreduce.map.memory.mb1024MapReducemapred-site.xml每个MapReduce作业的map任务可以申请的内存资源数量mapreduce.map.cpu.vcores1MapReducemapred-site.xml每个MapReduce作业的map任务可以申请的虚拟CPU资源的数量mapreduce.reduce.memory.mb1024MapReducemapred-site.xml每个MapReduce作业的reduce任务可以申请的内存资源数量yarn.nodemanager.resource.cpu-vcores8MapReducemapred-site.xml每个MapReduce作业的reduce任务可以申请的虚拟CPU资源的数量 原文地址http://www.aboutyun.com/thread-7513-1-1.html 转载于:https://www.cnblogs.com/landiljy/p/6956347.html
