【Hadoop二】Hadoop常用命令

编程技术  /  houtizong 发布于 3年前   103

以Hadoop运行Hadoop自带的wordcount为例,

 

hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop,需要说明的是,这些命令的使用必须在Hadoop已经运行的情况下才能执行

 

Hadoop HDFS相关命令

  •  hadoop fs -ls

 列出HDFS文件系统的第一级文件和第一级目录,如:

 

hadoop@hadoop-Inspiron-3521:~/hadoop-2.5.2/bin$ ./hadoop fs -lsFound 5 itemsdrwxr-xr-x   - hadoop supergroup          0 2014-11-24 23:13 QuasiMonteCarlo_1416841948675_1031539484drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:37 inputdrwxr-xr-x   - hadoop supergroup          0 2014-11-23 09:54 outdrwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:44 out1drwxr-xr-x   - hadoop supergroup          0 2014-11-23 10:38 output

 其中input目录是上传文本的目录(文本中包含了要统计的单词),out,out1和output是输出目录,

 

  • hadoop fs -ls ./input/*

列出input目录下的所有内容

 

 

 * 文件操作
 * 查看目录文件
 * $ hadoop dfs -ls /user/cl
 *
 * 创建文件目录
 * $ hadoop dfs -mkdir /user/cl/temp
 *
 * 删除文件
 * $ hadoop dfs -rm /user/cl/temp/a.txt
 *
 * 删除目录与目录下所有文件
 * $ hadoop dfs -rmr /user/cl/temp
 *
 * 上传文件
 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下
 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp
 *
 * 下载文件
 * 下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中
 * $ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl
 *
 * 查看文件
 * $ hadoop dfs –cat /home/cl/hdfs.txt

 

 

 

 

请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!

留言需要登陆哦

技术博客集 - 网站简介:
前后端技术:
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成

网站主要作用:
1.编程技术分享及讨论交流,内置聊天系统;
2.测试交流框架问题,比如:Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识,如有侵权请发邮件到站长邮箱,站长会尽快处理;
4.站长邮箱:[email protected];

      订阅博客周刊 去订阅

文章归档

文章标签

友情链接

Auther ·HouTiZong
侯体宗的博客
© 2020 zongscan.com
版权所有ICP证 : 粤ICP备20027696号
PHP交流群 也可以扫右边的二维码
侯体宗的博客