Hadoop(一)

编程技术  /  houtizong 发布于 3年前   159

今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。
首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.
   在hdfs下，运行hadoop fs -mkdir /user/hadoop/dir32   //在集群里创建文件夹dir32
   在root或者hdfs下，运行hadoop fs -ls /user/hadoop/dir   //查看集群下文件夹dir32的文件
   在root下，运行touch /home/gos/zhh/zhh_file1.txt    //在本地创建文件 gos是组名 zhh是我名字缩写 这样便于管理 zhh_file1.txt是文件名
   在root下，运行hadoop fs -put /home/gos/zhh/zhh_file2.txt /user/hadoop/dir33 // 将本地文件zhh_file2.txt上传到集群dir33文件夹下
   在hdfs下，运行hadoop  fs -get /user/hadoop/dir33/zhh_file3.txt /home/gos/zhh //将集群里dir33目录下文件zhh_file3.txt下载到本地文件夹zhh中。
   在root下，运行hadoop fs -getmerge /user/hadoop/dir33/zhh_file2.txt /user/hadoop/
dir33/zhh_file3.txt /home/gos/zhh/zhh_temp.txt    //将集群里dir33下两个文件合并后下载到本地zhh文件夹下，并命名为zhh_temp.txt.
   先写这么多吧 刚开始接触 理解的还不深 可能还有错误 明天继续努力。