先粗略说一下“hadoop fs”和“hadoop dfs”的区别:fs是各比较抽象的层面,在分布式环境中,fs就是dfs,但在本地环境中,fs是local file system,这个时候dfs不可用。
1、列出HDFS文件:
1 |
hadoop fs –ls |
a) –ls后面不跟任何内容的话是列出HDFS的"/user/用户名/"目录下的内容
b) 如果要列出某个文件夹中的内容,则-ls后面跟该文件夹的路径,例如列出input中的内容:
1 |
hadoop fs –ls input |
2、在HDFS中创建文件夹:
1 |
hadoop fs –mkdir 文件夹的名字 |
例如:
1 |
hadoop fs –mkdir input |
3、删除HDFS中的文件或文件夹
1 |
hadoop fs –rmr 文件夹名或者文件名 |
4、上传文件到HDFS:
1 |
hadoop fs –put ~/file test |
将本机中的file文件上传到HDFS上并重命名为test。
如果要上传到某个文件夹中,则将test改为文件夹的地址,此时,上传的文件名称不会改变,例如将本地文件
夹test中的文件test1.txt,test2.txt,test3.txt上传到HDFS中的input中:
1 |
hadoop fs –put ~/test/test*.txt input |
5、查看HDFS下的某个文件:
1 |
hadoop fs –cat 文件路径 |
例如查看input中的test文件的内容:
1 |
hadoop fs –cat input/test |
6、将HDFS中的文件复制到本地系统中:
1 |
hadoop fs –get HDFS中的文件名本地系统中的文件名 本地存放地址 |
例如:将HDFS中的output文件复制到本地系统Documents文件夹中
1 |
hadoop fs –get output /home/kevin/Documents/ |
7、进入/退出安全模式
有时,在hadoop启动时不能对文件系统进行如创建文件,删除文件之类的操作,此时,文件系统所处的状 态叫做安全模式,用途大家可以到网上搜一搜,笔者不在这里赘述(由于笔者属于初学者,HDFS上的东西还不多,节点也不多,所以笔者一般开启Hadoop后,不管有没有在安全模式,先输退出安全模式的命令)。
1 |
hadoop dfsadmin –safemode enter |
2 |
猜您喜欢: 1.Hadoop读写文件时内部工作机制是怎样的? 2.Hadoop与大数据不脱轨的十大秘诀 3.基于Hadoop的大数据企业前十大集合 原文链接:http://my.oschina.net/kevin701/blog/228684 |
Ubuntu 12.04单机版环境中搭建hadoop详细教程,在Ubuntu下创建hadoop用户组和用,创建hadoop用户。
在mac os上安装hadoop的文章不多,本文安装环境的操作系统是 MAC OS X 10.7 Lion,共分7步,注意第三个配置在OS X上最好进行配置,否则会报错“Unable to load realm info from SCDynamicStore”。
Nutch采用一个MR对爬取下来的文档进行清洗和封装成一个action列表。Nutch会将封装好的数据采用基于http的POST的方法发送一个请求数据包给solr的服务器,solr.commit();这个方法在前面一篇文章中解释有些偏差,solr的整个事务都是在solr服务器端的,这跟以前的的事务有所
、默认项目名称为MapReduceTools,然后在项目MapReduceTools中新建lib目录,先将hadoop下的hadoop-core-1.0.4.jar重命名为hadoop.core.jar,并把hadoop.core.jar、及其lib目录下的commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-m
SAP特别设立了一个“大数据”合作伙伴理事会。该理事会致力于进行合作创新,研发基于SAP实时数据平台和Hadoop的新产品解决方案,探索新应用和架构
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。