企业信息公示网站,宁夏建设厅网站旧版,医院网站建设进度及实施过程,海口网站建设费用Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上#xff0c;sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后#xff0c;结果如下#xff1a; 2.配置ssh#xff0c;实现无密码登录 四台虚拟机上#xff0c;使用#xff1a; ssh-ke…Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后结果如下 2.配置ssh实现无密码登录 四台虚拟机上使用 ssh-keygen -t rsa 一路回车就行了 master上将公钥放到authorized_keys里。命令: sudo cat id_rsa.pub authorized_keys 将master上的authorized_keys放到其他linux的~/.ssh目录下。 sudo scp authorized_keys cjpt132.228.28.183:~/.ssh 修改authorized_keys权限命令chmod 644 authorized_keys 测试是否成功 ssh cjpt132.228.28.183 输入用户名密码然后退出再次ssh hostbb不用密码直接进入系统。这就表示成功了 3.上传jdk并配置环境变量 下载java解压缩放到/usr/lib/jvm路径下 在.bash_profile文件添加环境变量vim ~/.bash_profile export JAVA_HOME/usr/lib/jvm/jdk1.7.0_60
export JRE_HOME/usr/lib/jvm/jdk1.7.0_60/jre source ~/.bash_profile使配置生效 4.上传hadoop并配置hadoop 4.1. 下载hadoop包解压缩到本地路径 4.2. 修改环境变量将hadoop加进去 vim ~/.bashrc export HADOOP_PREFIX/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export HADOOP_HOME/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export PATH$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 4.3. 修改hadoop/etc/hadoop/下面的配置文件 hadoop-env.sh 注意JAVA_HOME必须是绝对路径不然会报错 core-site.xml hdfs-site.xml mapred-site.xml master slave 上面的hadoop-env.shcore-site.xmlmapred-site.xmlhdfs-site.xmlmasterslave几个文件在四台linux中都是一样的。 配置完一台电脑后可以将hadoop包直接拷贝到其他电脑上。 4.4. 让hadoop配置生效 source hadoop-env.sh 4.5. 格式化namenode只格式一次 hadoop namenode –format 4.6. 启动hadoop 切到hadoop/sbin目录下执行 start-all.sh启动所有程序 ./start-all.sh 4.7. 查看进程是否启动 jps master主机 slave机器 转载于:https://www.cnblogs.com/jeakeven/p/5855605.html
