本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。
现在直接到Oracle官网（http://www.oracle.com/）寻找JDK7的安装包不太容易，因为现在官方推荐JDK8。找了半天才找到JDK下载列表页的地址（http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html）。因为选择Linux操作系统作为部署环境，所以选择64位的版本。我选择的是jdk-7u79-linux-x64.gz。
使用以下命令将jdk-7u79-linux-x64.gz下载到Linux下的/home/jiaan.gja/software目录
然后使用以下命令将jdk-7u79-linux-x64.gz解压缩到/home/jiaan.gja/install目录
回到/home/jiaan.gja目录，配置java环境变量，命令如下：
在.bash_profile中加入以下内容：
立刻让java环境变量生效，执行如下命令：
最后验证java是否安装配置正确：
由于我搭建Hadoop集群包含三台机器，所以需要修改调整各台机器的hosts文件配置，命令如下：
如果没有足够的权限，可以切换用户为root。
如果禁止使用root权限，则可以使用以下命令修改：
三台机器的内容统一增加以下host配置：
由于NameNode与DataNode之间通信，使用了SSH，所以需要配置免登录。
首先登录Master机器，生成SSH的公钥，命令如下：
执行命令后会在当前用户目录下生成.ssh目录，然后进入此目录将id_rsa.pub追加到authorized_keys文件中，命令如下：
最后将authorized_keys文件复制到其它机器节点,命令如下：
为了便于管理，给Master的hdfs的NameNode、DataNode及临时文件，在用户目录下创建目录：
/home/jiaan.gja/hdfs/name
/home/jiaan.gja/hdfs/data
/home/jiaan.gja/hdfs/tmp
然后将这些目录通过scp命令拷贝到Slave1和Slave2的相同目录下。
首先到Apache官网（http://www.apache.org/dyn/closer.cgi/hadoop/common/）下载Hadoop，从中选择推荐的下载镜像（http://mirrors.hust.edu.cn/apache/hadoop/common/），我选择hadoop-2.6.0的版本，并使用以下命令下载到Master机器的
/home/jiaan.gja/software目录：
然后使用以下命令将hadoop-2.6.0.tar.gz解压缩到/home/jiaan.gja/install目录
回到/home/jiaan.gja目录，配置hadoop环境变量，命令如下：
在.bash_profile中加入以下内容：
立刻让hadoop环境变量生效，执行如下命令：
进入hadoop-2.6.0的配置目录：
依次修改core-site.xml、hdfs-site.xml、mapred-site.xml及yarn-site.xml文件。
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
<configuration>
由于我们已经配置了JAVA_HOME的环境变量，所以hadoop-env.sh与yarn-env.sh这两个文件不用修改，因为里面的配置是：
最后，将整个hadoop-2.6.0文件夹及其子文件夹使用scp复制到两台Slave的相同目录中：
执行命令：
执行过程如下图：
最后的执行结果如下图：
执行命令如下：
执行结果如下图：
最后在Master上执行ps -ef | grep hadoop，得到如下结果：
在Master上执行jps命令，得到如下结果：
说明NameNode启动成功。
执行命令如下：
执行结果如下：
在Slave1上执行命令，如下图：
在Slave2上执行命令，如下图：
说明Slave1和Slave2上的DataNode运行正常。
以上启动NameNode和DataNode的方式，可以用start-dfs.sh脚本替代：
运行Yarn也有与运行HDFS类似的方式。启动ResourceManager使用以下命令：
批量启动多个NodeManager使用以下命令：
以上方式我们就不赘述了，来看看使用start-yarn.sh的简洁的启动方式：
在Master上执行jps：
说明ResourceManager运行正常。
在两台Slave上执行jps，也会看到NodeManager运行正常，如下图：
最后测试下亲手搭建的Hadoop集群是否执行正常，测试的命令如下图所示：
可以访问YARN的管理界面，验证YARN，如下图所示：
本人比较懒，不想编写mapreduce代码。幸好Hadoop安装包里提供了现成的例子，在Hadoop的share/hadoop/mapreduce目录下。运行例子：
我在启动Hadoop时发现Slave2机器一直启动不了，然后登录Slave2，在~/install/hadoop-2.6.0/logs目录下查看日志，发现了以下错误：
如果我执行echo $JAVA_HOME或者查看.bash_profile文件，都证明正确配置了JAVA_HOME的环境变量。无奈之下，只能将Slave2机器的hadoop-env.sh硬编码为如下的配置：
然后问题就解决了。虽然解决了，但是目前不知道所以然，有好心的同仁，告诉我下。。。
由于配置Hadoop集群不是一蹴而就的，所以往往伴随着配置——>运行——>。。。——>配置——>运行的过程，所以DataNode启动不了时，往往会在查看日志后，发现以下问题：
此问题是由于每次启动Hadoop集群时，会有不同的集群ID，所以需要清理启动失败节点上data目录（比如我创建的/home/jiaan.gja/hdfs/data）中的数据。
在测试Hadoop时，细心的人可能看到截图中的警告信息：
我也是查阅网络资料，得知以下解决办法：
1、下载hadoop-native-64-2.6.0.tar：
在网站http://dl.bintray.com/sequenceiq/sequenceiq-bin/可以找到下载的相应版本，由于我是2.6.0的Hadoop，所以选择下载
2、停止Hadoop，执行命令如下：
下载完以后，解压到hadoop的native目录下，覆盖原有文件即可。操作如下：
令人失望的是，这种方式并不好使，看到最后的解决方案是需要下载Hadoop源码，重新编译，但这种方式有些重，我不打算尝试了。有没有简便的解决方案，还希望知道的同学告诉一下。
在执行start-yarn.sh脚本启动YARN时，在Slave1和Slave2机器上执行jps命令未发现NodeManager进程，于是登录Slave机器查看日志，发现以下错误信息：
参考网上的解决方式，是因为yarn.nodemanager.aux-services对应的值mapreduce.shuffle已经被替换为mapreduce_shuffle。有些参考用书上也错误的写为另一个值mapreduce-shuffle。
Hadoop集群已成为Yahoo大规模机器学习的首选平台,为了在这些强化的Hadoop集群上支持深度学习，我们基于开源软件库开发了一套完整的分布式计算工具，它们是Apache Spark和Caffe。
3节点hadoop集群的安装配置完成后，就是测试hadoop集群是否安装成功的方法，可以用jps命令和实例进行验证集群是否安装配置成功。
三节点hadoop集群配置和测试过程分享，系统：Ubuntu12.04，java版本：JDK1.7，机器分配：一台master,两台slave。
本文介绍Hadoop集群日常运维工作及步骤，namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。
本次hadoop容灾能力测试实验简单来讲就是，put一个文件，测试关闭hadoop节点后，文件是否能正确取回。
【聚焦搜索，数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启！
本次大会上，紫晶存储董事、总经理钟国裕作为公司代表，与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移，为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信，通过本次合作，能够使双方进一步提升技术实力、提升产品品质及服务质量，为客户创造更大价值。
