19体育

 

Hadoop数据处置赏罚基本历程回首

Hadoop是一个漫衍式的、高度容错的数据存储和数据处置赏罚架构，主要包罗两个部门：HDFS文件系统：一个漫衍式的、容错的、自愈的、自平衡的海量集群文件系统。

MapReduce盘算框架：一个漫衍式的、容错的、大规模并行数据处置赏罚模子和资源治理调治系蚦hang

MapReduce盘算的处置赏罚历程如下：

 

先将文件an大致牢靠的巨细及脱离符特征，将一个文件支解为多个Split，MapReduce作业调治算法会部署gaiSplit文件分片所在的节点启动一个Map task，gaitask会对gai文件分片举行Map操作。

每个Map使命有块内存（io.sort.mb）存放map函数的输出。

Map的中心效果会先存储在节点上的内存循环缓存In-Memory Buffer中，当缓存快溢出时，将Map中心效果吐出到节点当地文件系统中的一个暂时文件，此时的暂时文件的内容是anKey分区Partition的并anKey排序的（Key:Value），Map task会继续处置赏罚Split文件分片，吐出响应的Map暂时文件，直到Split文件分片处置赏罚完毕。

Shuffle就是Mapper的输出传给Reducer的历程。

Shuffle Map端：Map task在将所有Split文件分片处置赏罚完毕后，会进入Map端Shuffle历程，会将内存中的以及所有的存储在当地文件系统中的Map中心暂时文件an各个Partition应当输出到的Reduce task合并排序，即将所有需要输出到相同Reduce task的Partition合并在一起，合并成一个已分区且排序的文件作为map的输出。

Shuffle Reduce端：Reduce使命会在所有的Map使命完成前就启动，进入复制阶段（copy phase），获取heartbeat中传过来的已经完成的Map使命列表，从map使命那里通过HTTP并行的取得属于这个reducer的map输出，合并差异map输出成一个有序的文件，当所有的map输出都被合并成一个有序文件后，reduce函数启动。

Reduce task会将处置赏罚结过输出到HDFS文件系统的文件中。

以上形貌了MapReduce的处置赏罚历程，小编在此只想通过以上形貌得出以下结论：

HDFS文件系统是an牢靠巨细的数据块（通常为64MB、128MB等，Oracle的BDA接纳256MB的块大。┰瘸坡衍在所有存储节点的所有硬盘上(理想qing况下)。

MapReduce会只管用文件分片所在节点来处置赏罚gai文件内容，即Hadoop具有数据处置赏罚当地化特征。

HDFS文件系统不具有文件系统缓存层，即HDFS不会如通常的文件系统那样，通过LRU算法实现常用数据块的缓存，虽然也不会部署数据预读进缓存备用。对于写，也是云云，HDFS会期待数据块写的三个副本都已完成，数据块写才算完成。

HDFS的数据块最底层是写在每个数据节点上的当地文件系统上的，如EXT4、Btrfs等，这些当地文件系统照旧具有文件系统缓存的，这是HDFS底层支持系统所具有的，而不是HDFS文件系统层所具有的。

 

Hadoop架构的经典部署方式

Hadoop的经典部署方式，就是接纳接纳盘算与存储紧耦合方式，如下图：

Hadoop经典部署方式接纳统一的节点设置，gai节点上将安装和运行HDFS文件系统及MapReduce盘算框架。

   经典部署方式是最早的Hadoop架构部署方式，可以完全支持和充实验展Hadoop固有的数据会见和处置赏罚的当地化特征。

经典部署方是也是现在最普遍接纳的部署方式，但随着人们在大数据领域用经典部署方式来架构和处置赏罚大数据，经典部署方式的不足之处也开shi逐步展现，主要体现在：

Ø  经典部署方式由于接纳统一的节点设置，其盘算能力与存储能力在部署之初就形成了一个牢靠配比，虽然整个Hadoop集群可以随着节点的zeng加扩展其盘算处置赏罚和数据存储能力，但由于牢靠配比的存在，其盘算处置赏罚能力和数据存储能力并不能自力扩展，影响了整个架构的无邪性。

Ø  经典部署方式由于接纳统一的节点设置，无法快速接纳一些新的服务器手艺，如现在泛起的高存储容量的存储服务器、GPU优化的盘算服务器、FPGA优化的盘算服务器、内存优化的服务器以及低成本高密度盘算服务器。

Ø  经典部署方式与HDFS文件系统紧耦合，HDFS面向大文件的设计特点使得HDFS文集系统不善存储巨量的小文件，在巨量小文件眼前，NameNode的瓶颈就容易泛起，限制了HDFS文件系统的扩展性。

Ø  经典部署方式由于将所有数据都存储于HDFS文件系统，HDFS的会见通常限于Hadoop生态系统，即通过MapReduce或更高级的Pig、Hive等方式会见，其他生态系统的框架必须有响应的毗连器才气会见。据此，有看法以为HDFS并不是做为企业级数据湖的最好选择。

现在通常将Hadoop的经典部署方式简称为Hadoop 1.0。

 

Hadoop架构的融合部署方式

Hadoop的融合部署方式是将Hadoop的HDFS文件系统与MapReduce盘算框架脱离部署的一种部署方式，如下图：

通常接纳存储优化的超大容量存储服务器构建HDFS集群，接纳盘算优化的盘算服务器（如高密度的盘算服务器、GPU优化的盘算服务器、FPGA优化的盘算服务器等）组成Map Reduce盘算集群。盘算集群与存储集群之间通常接纳专用的网络毗连。

融合部署方式使得盘算节点与存储节点没有牢靠配比，gai部署方式使用户可以在盘算资源和存储资源各自自力扩展。

融合部署方式使得用户可以凭证需要无邪选择盘算服务器和存储服务器型号，充实使用存储服务器的存储容量和盘算服务器的盘算特征，从而构建一个越发无邪和顺应新手艺的Hadoop部署架构。

融合部署方式虽然带来了越发无邪的扩展特征，但融合架构也带来了其他的不足：

Ø  融合部署方式破损了Hadoop固有的数据会见当地化特征。所有的数据会见必须经由数据网络。随着网络向25G和100G的普及，gai不足在逐渐淡化。

Ø  融合部署方式仍然与HDFS文件系统紧耦合，HDFS面向大文件的设计特点使得HDFS文集系统不善存储巨量的小文件，在巨量小文件眼前，NameNode的瓶颈就容易泛起，限制了HDFS文件系统的扩展性。

融合部署方式由于将所有数据都存储于HDFS文件系统，HDFS的会见通常限于Hadoop生态系统，即通过MapReduce或更高级的Pig、Hive等方式会见，其他生态系统的框架必须有响应的毗连器才气会见。据此，有看法以为HDFS并不是做为企业级数据湖的最好选择。

Hadoop架构的缓存优化虚拟漫衍式存储部署方式

Hadoop的缓存优化虚拟漫衍式存储部署方式是将MapReduce盘算集群与存储系统脱离部署，将盘算资源与存储资源解耦，MapReduce集群与存储系统通过网络相连。

在MapReduce盘算集群的所有节点上构建一个统一的漫衍式内存缓存资源池，在gai资源池的前端，提供HDFS兼容的会见接口;在gai资源池的后端提供整合Oracle Storage Cloud工具存储的后端接口，并可以将Oracle MapReduce各盘算节点内置的PCI-E NVME统一做为二级缓存，将SSD或HDD统一做为三级缓存，以扩大漫衍式内存缓存资源池的容量。智能缓存调治算法在各缓存层级间智能缓存和预读最可能用到的数据。各盘算节点各自并发地会见存储在Oracle Storage Cloud的工具数据。

缓存优化虚拟漫衍式存储通过智能缓存算法，理想qing况下将大部门数据会见由内存缓存和当地SSD/HDD缓存实现，只有少数数据会见通过会见外部的工具存储实现。

Oracle资助过客户通过智能缓存系统到达十几倍的性能提升。

gai部署方式具有如下优点：

Ø  盘算节点与存储容量没有牢靠配比，gai部署方式使用户可以在盘算资源和存储资源各自自力扩展。

Ø  用户可以凭证需要无邪选择盘算服务器型号和Oracle Storage Cloud的服务级别，充实使用工具存储的海量容量和多种服务级别。

Ø  工具存储的供应远比HDFS快，且自愈速率也比HDFS快。

Ø  Oracle Storage Cloud会将每个工具在Region的三个可用域各存一个副本，远比HDFS的跨机柜副本放置战略的可靠性高。

Ø  Oracle Storage Cloud可以很简朴地实现跨Region的复制，而HDFS要实现跨区域的数据复制将很是难题。

Ø  由于接纳了统一的内存缓存池，加上各节点上的NVME、SSD和HDD组成的大容量的二级和三级缓存，加上智能的缓存调治算法和预读战略，通常会带来较大的性能提升。

Ø  工具存储由于会见的通用性，可顺应种种盘算框架，更适相助为企业的数据湖存储。

缓存优化的虚拟漫衍式存储部署方式有时也简称Hadoop 2.0。

 

Hadoop情形下处置赏罚大量小文件的问题

前文提到了HDFS在处置赏罚大量小文件时间会遇到瓶颈。主要是由于HDFS通常有一个Master的NameNode和一个Standby NameNode，虽然，从手艺上讲，用户可以设置多个Standby NameNode，但Master NameNode默认只有一个，搭建NameNode HA步骤很繁琐（Oracle Bigdata Cloud Service提供2个Master节点的高可用保障）。Master NameNode会将HDFS文件系统的MetaData生涯在内存中(MetaData被持久化到磁盘文件fsimage中，NameNode启动时会先读取这个信息)，任何对Master NameNode的MetaData更改会在修改内存的同时，将修改添加到当地磁盘log文件edits中，其余Standby NameNode会实时获取gaiLog，并将转变同步到Standby NameNode的内存中。

在HDFS文件系统中，任何一个文件、目录和Block都市被体现为一个Item存储在 NameNode的内存中，每一个Item占用150~200bytes的内存空间。以是，若是有一亿个文件，每一个文件对应一个Block，那么就会消耗NameNode 30~40G来生涯这些MetaData的信息。若是规模再大一点，如10billion的文件，就需要3TB~4TB的内存，那么将会超泛起阶段盘算机硬件所能知足的极限。

现在关于阻止NameNode瓶颈的手艺思绪主要是漫衍式MetaData治理和Key/Value治理Namespace。

漫衍式MetaData的基本头脑是将文件系统的命名空间root及所有命名空间先由漫衍式MetaData集群中的一个节点治理，随着文件系统负荷zeng加，将命名空间树形结构中的最忙碌的分支迁徙到另一个节点治理，依ci循环wang复，动态保持整个命名空间在MetaData集群节点间的会见负荷平衡。

Oracle在Big data Cloud Service-Compute Edition中实现了一个统一的命名空间（Big data file system，BDFS），gai命名空间可以将其一个或多个目录映射到Oracle Storage Service工具存储的一个或多个container，使用盘算节点的内存、NVMe和HDD做为统一的缓存。Big data file system仅需治理缓存在盘算节点的数据块的MetaData，无需治理整个命名空间的MetaData，整个命名空间的MetaData由底层的存储系统Oracle工具存储治理。

工具存储通常接纳Key/Value方式治理MetaData。用户在统一命名空间中的一个文件会自动映射到工具存储中的一个工具，工具存储盘算工签字的Hash值，通过Hash值获得gai工具的对应的Placement Group ID, 再使用gaiPlacement Group ID、当前各节点的状态图和事先界说的规则盘算出认真gaiPlacement Group的工具存储节点，在gai存储节点就可以获得gai工具的内容。

通过以上形貌，19体育可以知道，Oracle Big data file system自shen并不需要治理整个命名空间的MetaData，通过映射文件到工具，工具存储仅需举行简朴的盘算就可以直接找到19体育文件所需要的文件。

以是，Oracle Big Data file system虚拟漫衍式文件系统能快速处置赏罚小文件，且没有MetaData性能瓶颈。

仅需三步，就可以在Oracle公有云上部署Big data Cloud Service, 以上是一个服务的订阅qing况：一个节点(2个OCPU, 30GB内存)，分配了50GB给HDFS，分配了50GB给Oracle BDFS文件系统做缓存，BDFS文件系统映射到了一个后端的工具存储的Container。

 

总结

Hadoop的几种部署方式客官可以凭证自己的qing况选择，Hadoop 1.0温柔贤惠，Hadoop 2.0前卫时尚。

Oracle是业界公认的数据治理和大数据剖析领域的向导者，19体育不仅有业界领先的关系型数据库，19体育尚有基于Hadoop的大数据平台，并能将关系型数据库与Hadoop平台很好地集成在一起，提供全数据解决方案和云服务。

Oracle还将Machine Learning机械学习算法集成在关系型数据库和剖析平台中，资助用户在种种数据中发现价值。

对于Hadoop的部署，Oracle周全支持Hadoop 1.0和2.0部署方式，客官可以选择BDA大数据一体机/OCC公有云一体机/BDCC公有云大数据一体机及BDCS大数据云服务，客官还可选择在自己数据中心和Oracle公有云部署自己的Hadoop。

各部署方式的特点及Oracle对应的产物和云服务见下表：

Oracle Big Data Cloud Service-Compute Edition提供了基于缓存优化的虚拟漫衍式存储部署方式，充实使用了内存及当地SSD/HDD的高性能和工具存储的高可靠性和高性价比，同时又能很好地处置赏罚小文件。

 

 

 

 

 

【文章泉源：Oracle官网】