2015-09-07 16:19:21
来 源
中存储网
Hadoop
首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。

Hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/;

了解:虚拟机:KVM,XEN ,ESXI,VMWare,windows+cygwin。

SSH软件:secure CRT 或 putty ,也可以用vmwareclient 管理ESXI。

准备:首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。

学习:rack 机架调整,记住默认常用的端口号,善于看 log文档,多用NFS网络文件系统深入更好地配置文件以及服务端权限的配置

总结:

1,  重新配置平台的时候,删除tmp,log,dfs(data,name)中文件

2,  scp 复制文件方法

3,  chown –R root:root java   其中 –R的意思:权限对此目录以及 目录下所有文件生效。

4,  网页查看 节点状态:比如我配置的文件查看方式为:http://10.18.47.212:8088。

5,  也可以用:http://10.18.47.212.50070 查看每个节点的状态。

6,  添加新的节点:hadoop-daemon.shstart nodemanager 注意出现tmp和data权限错误。

7,  接着启动 换启动方式:yarn-dameon.shsart nodemanager

8,  接着还要启动:start-balancer.sh。

9,  查看端口状态信息:netstat–apv

10,             当配置的节点主机本身内存太小,可以把 JAVAOPTS的数值调的小一点。

11,             用more命令查看log文件比较方便。

12,             接着再启动

13,             把电脑的空闲分区加载进来,以后做大数据,怕是各个节点的存储不够。

14,             Hadoop编译成64位时候如果出现问题,junit与netty问题,就是下载的资源包不行,数据源不好。

15,             git 项目管理工具。

16,             wput, wget, sftp 操作。

17,             在linux中如何查看隐藏文件???

18,             配置自启动网络和IP命令配置:

vi /etc/sysconfig/network-scripts/ifcfg-eth0 或者 别的 ifcfg-eth。。。名字。

原文地址:http://blog.csdn.net/jiangliqing1234/article/details/40685171

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。