成都网站建设 平易云,wordpress order插件,wordpress反馈插件,网站排名首页前三位一、问题
现象
Spark 任务速度变慢#xff0c;也不失败。
DataNode 内存足够 CPU 负载不高 GC 时间也不长。
查看 DataNode 日志#xff0c;发现有些日志出现很多 Netty RPC 超时。超时的 destination 是一个 NameNode 节点#xff0c;然后查看 NameNode 节点的日志也不失败。
DataNode 内存足够 CPU 负载不高 GC 时间也不长。
查看 DataNode 日志发现有些日志出现很多 Netty RPC 超时。超时的 destination 是一个 NameNode 节点然后查看 NameNode 节点的日志报错如下 二、解决方案
查找对应 Hadopo 源码
源码 org.apache.hadoop.ipc.Server.Connection#checkDataLength private void checkDataLength(int dataLength) throws IOException {if (dataLength 0) {String error Unexpected data length dataLength !! from getHostAddress();LOG.warn(error);throw new IOException(error);} else if (dataLength maxDataLength) { String error Requested data length dataLength is longer than maximum configured RPC length maxDataLength . RPC came from getHostAddress();LOG.warn(error);throw new IOException(error); // -------------- 异常从此处抛出来}}this.maxDataLength conf.getInt(CommonConfigurationKeys.IPC_MAXIMUM_DATA_LENGTH,CommonConfigurationKeys.IPC_MAXIMUM_DATA_LENGTH_DEFAULT);/** Max request size a server will accept. */public static final String IPC_MAXIMUM_DATA_LENGTH ipc.maximum.data.length;/** Default value for IPC_MAXIMUM_DATA_LENGTH. */public static final int IPC_MAXIMUM_DATA_LENGTH_DEFAULT 64 * 1024 * 1024;
修改NameNode的hdfs-site.xml配置文件添加以下配置
propertynameipc.maximum.data.length/namevalue67108864/valuedescriptionThis indicates the maximum IPC message length (bytes) that can beaccepted by the server. Messages larger than this value are rejected by theimmediately to avoid possible OOMs. This setting should rarely need to bechanged./description
/property64M - 256M
67108864 * 4 268435456
允许ipc通讯最大的数据包为256MB默认配置为64MB。
最后重启 NameNode再重启 DataNode。
