湖北建设网官方网站,软件研发租用网站怎么做分录,免费用手机建立网站,股票app开发价格近几年大数据越来越火热。由于工作需要以及个人兴趣#xff0c;最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来#xff0c;与网友分享讨论#xff0c;作为个人备忘。 第一篇#xff0c;在win7虚拟机下搭建hadoop2.6.0伪分布式环境。 1. 所需…近几年大数据越来越火热。由于工作需要以及个人兴趣最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来与网友分享讨论作为个人备忘。 第一篇在win7虚拟机下搭建hadoop2.6.0伪分布式环境。 1. 所需要的软件 使用Vmware 11.0搭建虚拟机安装Ubuntu 14.04.2系统。 Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录/home/vm/tools/jdk 在~/.bash_profile中配置环境变量并通过source ~/.bash_profile生效。 #java export JAVA_HOME/home/vm/tools/jdk export JRE_HOME/home/vm/tools/jdk/jre export PATH$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 检验jdk安装是否成功。 4. 配置ssh信任关系实现无密码登录 4.1 安装ssh Ubuntu默认安装了ssh客户端但没有安装ssh服务端因此可以通过apt-get安装。 安装ssh-serversudo apt-get install openssh-server 如果没有ssh客户端也可以通过apt-get安装。 安装ssh-clientsudo apt-get install openssh-client 启动ssh-serversudo service ssh start 启动以后通过ps –aux | grep sshd查看ssh服务器是否安装成功。 4.2 配置ssh信任关系 生成机器A的公私密钥对ssh-keygen -t rsa之后一路回车。在~/.ssh目录下生成公钥id_rsa.pub私钥id_ras。 拷贝机器A的id_rsa.pub到机器B的认证文件中 cat id_rsa.pub ~/.ssh/authorized_keys 这时候机器A到机器B的信任关系就建立好了此时在机器A可以不需要密码直接ssh登录机器B了。 本例中机器A和B是同一台机器配置ssh信任关系以后可以使用ssh localhost或者ssh 机器IP地址来验证。 5. 安装hadoop2.6.0 5.1 解压hadoop2.6.0 从官网下载hadoop-2.6.0.tar.gz解压到目录/home/vm/tools/hadoop并配置~/.bash_profile环境变量。通过source ~/.bash_profile生效。 #hadoop export HADOOP_HOME/home/vm/tools/hadoop export PATH$HADOOP_HOME/bin:$PATH export HADOOP_COMMON_LIB_NATIVE_DIR$HADOOP_HOME/lib/native export HADOOP_OPTS-Djava.library.path$HADOOP_HOME/lib 5.2 修改配置文件 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh和yarn-evn.sh配置JAVA_HOME路径 修改$HADOOP_HOME/etc/hadoop/slaves增加本机IP地址 cat 192.168.62.129 slaves 修改$HADOOP_HOME/etc/hadoop/下的几个重要的*-site.xml core-site.xml 192.168.62.129是我虚拟机的IP地址 configuration property namefs.defaultFS/name valuehdfs://192.168.62.129:9000/value /property property namehadoop.tmp.dir/name valuefile:/home/vm/app/hadoop/tmp/value descriptiona base for other temporary directories./description /property /configuration hdfs-site.xml configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name valuefile:/home/vm/app/hadoop/dfs/nn/value /property property namedfs.namenode.data.dir/name valuefile:/home/vm/app/hadoop/dfs/dn/value /property property namedfs.permissions/name valuefalse/value description permission checking is turned off /description /property /configuration mapred-site.xml configuration property namemapred.job.tracker/name valuehdfs://192.168.62.129:9001/value /property property namemapreduce.framework.name/name valueyarn/value /property /configuration yarn-site.xml configuration !-- Site specific YARN configuration properties -- property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configuration 5.3 格式化文件系统 在$HADOOP_HOME下执行bin/hdfs namenode –format格式化文件系统 5.4 启停 在$HADOOP_HOME下执行sbin/start-dfs.sh和sbin/start-yarn.sh启动hadoop集群执行sbin/stop-dfs.sh和sbin/stop-yarn.sh停止hadoop集群。 启动过程例如 启动完毕进程如下 6. 查询集群信息 8088端口查看All Applications信息 50070端口查看hdfs信息 7. 验证hadoop环境搭建是否成功 7.1 验证hdfs是否正常 可以使用各种hdfs命令测试。例如 hdfs dfs -ls ./ hdfs dfs -put file.1 ./ hdfs dfs -get ./file1 hdfs dfs -rm -f ./file.1 hdfs dfs -cat ./file1 hdfs dfs -df -h 7.2 验证map/reduce计算框架是否正常 在$HADOOP_HOME目录下执行bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount ./count_in/ ./count_out/ 其中./count_in/提前在hdfs集群创建统计该目录下所有文件的单词数量输出到./count_out/目录。 执行过程示例如下 执行完毕生成结果 至此Hadoop2.6.0的伪分布式环境搭建完成。转载于:https://www.cnblogs.com/simplestupid/p/4679016.html
