域名不变 网站改版,南平建设集集团网站,嘉定网站建设,跨境电商无货源模式怎么做Hadoop使企业能够对庞大的非结构化数据集进行大规模分析处理。这个数据集可以包含数以百万计#xff0c;甚至数十亿个需要读取的文件。为了降低成本并提高数据处理性能#xff0c;数据和应用程序应该存在于相同的物理硬件上。这样做使数据无需移动#xff0c;就地处理#…Hadoop使企业能够对庞大的非结构化数据集进行大规模分析处理。这个数据集可以包含数以百万计甚至数十亿个需要读取的文件。为了降低成本并提高数据处理性能数据和应用程序应该存在于相同的物理硬件上。这样做使数据无需移动就地处理并允许使用不算昂贵的服务器级存储。Hadoop分布式文件系统(HDFS)是为了管理这些分散在各个节点上的数据而应运而生的。然而现代存储架构提供了一个可以替代HDFS的引人注目的新方案对象存储。为什么对象存储是您的组织进行Hadoop分析的一个可选项呢下面将谈到三方面的原因。 原因一对象存储可提供更好的数据保护 虽然HDFS能够利用内部的服务器级存储它实际上是按……我们一直都在努力坚持原创.......请不要一声不吭就悄悄拿走。我原创你原创我们的内容世界才会更加精彩【所有原创内容版权均属TechTarget欢迎大家转发分享。但未经授权严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】微信公众号TechTarget官方微博TechTarget中国电子邮件地址不会被公开。 必填项已用*标注评论敬请读者发表评论本站保留删除与本文无关和不雅评论的权力。姓名 *电子邮件 *站点Save my name, email, and website in this browser for the next time I comment.Hadoop使企业能够对庞大的非结构化数据集进行大规模分析处理。这个数据集可以包含数以百万计甚至数十亿个需要读取的文件。为了降低成本并提高数据处理性能数据和应用程序应该存在于相同的物理硬件上。这样做使数据无需移动就地处理并允许使用不算昂贵的服务器级存储。 Hadoop分布式文件系统(HDFS)是为了管理这些分散在各个节点上的数据而应运而生的。然而现代存储架构提供了一个可以替代HDFS的引人注目的新方案对象存储。为什么对象存储是您的组织进行Hadoop分析的一个可选项呢下面将谈到三方面的原因。原因一对象存储可提供更好的数据保护虽然HDFS能够利用内部的服务器级存储它实际上是按照其标准的数据保护策略将所有数据做了三个副本。因此尽管可以使用较便宜的服务器内部的硬盘驱动器它可能并不像最初希望的那样经济因为容量需求要乘以3。一种替代方案是使用基于对象的存储系统提供亚马逊简单存储服务(S3)协议访问这是Hadoop除了HDFS也同样支持的。这些系统可以是纯软件因此可以使用商用服务器和服务器级存储。但不同于默认的HDFS许多对象存储系统都提供纠删编码。这种数据保护机制类似于RAID但粒度更细可以在对象或子对象的层面操作把数据和奇偶校验位分布到存储集群的各个节点上。其结果是可以达到相似或更高水平的数据冗余性而只需大约25至30的额外开销。相比之下 HDFS的标准三副本配置下的额外容量开销为200。原因二HDFS会暴露主节点HDFS具有一个主节点和一系列从节点。从节点处理数据并将结果发送给主节点。主节点还需要维护数据复制策略以及基本的集群管理。如果主节点发生故障集群的其余节点将不能被访问。 HDFS对主节点只提供了有限的保护所以企业需要采取特殊措施来实现主节点的高可用性。如上所述在对象存储系统中主节点与从节点都能受到相同的纠删编码的数据保护。此外由主节点维护的管理Hadoop集群所需的所有元数据(metadata)都可以存储在集中化的对象存储系统中。这样当主节点发生故障时从节点或备用节点可以迅速变成为主节点。原因三HDFS不能进行单独扩展像任何其他架构一样Hadoop对计算和存储容量也会有不同程度的需求。问题是HDFS要求计算能力和存储容量需要按比例进行扩展这意味着你不能单独对某一种资源进行扩充。要说明这一点最常见的方式是当一个Hadoop架构的存储容量用尽时因为增加更多容量就意味着加入另一个装满硬盘的节点这也增加了更多的计算能力。反之亦如此作为Hadoop基础设施往往需要更多的处理能力但存储空间却很充裕。大多数时候当购置了一个新的服务器以增加计算能力时它也带来了新的存储空间。其结果是Hadoop架构总是在某种资源上浪费金钱而对另一种资源却总是缺乏。对象存储允许容量和计算能力各自独立地进行扩展。计算节点可以是1U或2U的机箱通过固态存储引导。对象存储系统可以装满高容量驱动器从而保持每GB成本最低。更重要的是随着应用环境的变化每一层都可以独立扩展。HDFS之于Hadoop的主要优点是低成本和高性能这得益于数据存放于本地。而利用商业存储硬件的对象存储系统同样可以提供类似的低成本尤其是当采用纠删编码来提高数据保护效率时更是如此。10 GbE的高速网络现在已经很实惠这些都使HDFS将数据和计算放在一起所带来的性能优势不复存在。对象存储提供了一种更具成本效益更可靠而且性能至少跟HDFS相当的基础架构它理所当然应该成为一种可行的HDFS替代解决方案。
