唐山网站搭建,企业应该如何进行网站建设,自己做网站 需要哪些,制作软件的公司叫什么1.第一点#xff1a;如何理解hdfs分布式文件系统#xff0c;每台机器出一块磁盘#xff0c;凑成一个大的硬盘#xff0c;大的硬盘的容量来自各个服务器的硬盘容量之和。 你出5毛#xff0c;我出5毛#xff0c;大家凑成1块。 2. HDFS 是 Hadoop Distribute File System 的…1.第一点如何理解hdfs分布式文件系统每台机器出一块磁盘凑成一个大的硬盘大的硬盘的容量来自各个服务器的硬盘容量之和。 你出5毛我出5毛大家凑成1块。 2. HDFS 是 Hadoop Distribute File System 的简称意为Hadoop 分布式文件系统。是 Hadoop 核心组件之一作为最底层的分布式存储服务而存在。 3.hdfs的特性 1master/slave架构namenode是我们的主节点datanode是我们的从节点 namenode主要管理元数据信息 datanode主要存储各种数据 2分块存储 3名字空间NameSpace 4HDFS 会给客户端提供一个统一的抽象目录树客户端通过路径来访问文件形如hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。 5Namenode 元数据管理 6Datanode 数据存储 7副本机制 8一次写入多次读出频繁的写入会造成元数据的频繁的更新改变比较麻烦。 3. hdfs常用的操作命令 hdfs dfs -ls / 查看根路径下面的文件或者文件夹 hdfs dfs -mkdir -p /xx/xxx 在hdfs上面递归的创建文件夹 hdfs dfs -moveFromLocal sourceDir(本地磁盘的文件或者文件夹的路径) destDirhdfs的路径 剪切 hdfs dfs -mv hdfsSourceDir hdfsDestDir剪切从hdfs上的一个位置移动到另一个位置 hdfs dfs -put localDir hdfsDir 将本地文件系统的文件或者文件夹放到hdfs上面去 复制 Usage: hdfs dfs -rm [-f] [-r|-R递归] [-skipTrash跳过垃圾桶永久删除] URI [URI ...] 删除hdfs上的一个或多个文件或文件夹。 hdfs dfs -tail [-f] URI (Displays last kilobyte of the file to stdout) hdfs dfs -appendToFile localsrc ... dst 将本地系统的一个或多个文件追加到hdfs的一个文件中。 hdfs dfs -cat hdfsFiles 查看一个或多个hdfs的文件内容 hdfs dfs -cp hdfsSourceDIr hdfsDestDir 拷贝文件或者文件夹从hdfs上的一个位置拷贝到另一个位置 hdfs的权限管理两个命令 hdfs dfs -chmod -R 777 /xxx hdfs dfs -chown -R hadoop:hadoop /xxx hdfs dfs -expunge 清空回收站 2.hdfs高级命令使用主要就是用于限制某个路径下面的文件的个数或者限制某个路径下面文件的大小。 hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹 hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件上传文件发现只能上传一个文件 hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制 hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额 hdfs dfs -count -q -h /user/root/lisi 查看hdfs文件限额数量 注意hdfs dfs -count -q -h /user/root/lisi 可以简写为hdfs dfs -count -q -h lisi 这里使用了相对路径 当前登录用户是root所以当前路径是/user/root/ 3. hdfs的安全模式文件系统只接受读数据请求而不接受删除、修改等变更请求。hdfs集群刚启动的时候默认30S钟的时间是出于安全期的去检测datanode了,只有过了30S之后集群脱离了安全期然后才可以对集群进行操作 hdfs dfsadmin -safemode [ enter | leave | get ] 4. hdfs基准测试压力测试 测试写入速度 hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB 完成之后查看写入速度结果写入速度一般在30M/S左右超不多 hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000 测试读取速度 hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB 查看读取结果实际工作当中通过MR读取速度大概在100M/s左右 hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000 清除测试数据 hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean 注在执行命令时的当前路径下会生成一个测试报告文件-rw-r--r-- 1 root root 303 May 23 22:06 TestDFSIO_results.log转载于:https://www.cnblogs.com/mediocreWorld/p/10941071.html
