【Pig一】Pig入门

编程技术  /  houtizong 发布于 3年前   133

Pig安装

1.下载pig

 

wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz

 

2. 解压配置环境变量

 

   如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量

 

export PIG_HOME=/home/hadoop/pig-0.14.0export PIG_CLASSPATH=/home/hadoop/hadoop-2.5.2/etc/hadoop/confexport PATH=$PIG_HOME/bin:$PATH

 

3. 在本篇中使用默认的Pig配置，如果要配置Pig属性，则对如下文件进行配置

 

 

/home/hadoop/pig-0.14.0/conf/pig.properties

 

4. 启动Pig

 

 

/home/hadoop/pig-0.14.0/bin/pig

 

 

启动的结果：

 

hadoop@tom-Inspiron-3521:~/pig-0.14.0/bin$ ./pig14/12/28 12:31:03 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL14/12/28 12:31:03 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE14/12/28 12:31:03 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType2014-12-28 12:31:03,217 [main] INFO  org.apache.pig.Main - Apache Pig version 0.14.0 (r1640057) compiled Nov 16 2014, 18:02:052014-12-28 12:31:03,217 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/hadoop/pig-0.14.0/bin/pig_1419741063215.log2014-12-28 12:31:03,279 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found2014-12-28 12:31:04,154 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address2014-12-28 12:31:04,154 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS2014-12-28 12:31:04,154 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://yuzhitao-Inspiron-3521:90002014-12-28 12:31:06,100 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFSgrunt> 

 

Pig基本使用

1. 启动Hadoop2.5.2

2. 准备数据集 vim $PIG_HOME/data/sampledata.txt

 

2014:11:23
2014:11:61
2014:12:32
2014:8:11

请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！

<div > <h2>Pig安装</h2> <p><span style="font-size: 16px;">1.下载pig</span></p> <p>&nbsp;</p> <pre class="java" name="code">wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz</pre> <p><span style="font-size: 16px;">&nbsp;</span></p> <p><span style="font-size: 16px;">2. 解压配置环境变量</span></p> <p>&nbsp;</p> <p><span style="font-size: 16px;">&nbsp;&nbsp; 如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量</span></p> <p>&nbsp;</p> <pre class="java" name="code">export PIG_HOME=/home/hadoop/pig-0.14.0export PIG_CLASSPATH=/home/hadoop/hadoop-2.5.2/etc/hadoop/confexport PATH=$PIG_HOME/bin:$PATH</pre> <p><span style="font-size: 16px;">&nbsp;</span></p> <p><span style="font-size: 16px;">3. 在本篇中使用默认的Pig配置，如果要配置Pig属性，则对如下文件进行配置</span></p> <p>&nbsp;</p> <p>&nbsp;</p> <pre class="java" name="code">/home/hadoop/pig-0.14.0/conf/pig.properties</pre> <p><span style="font-size: 16px;">&nbsp;</span></p> <p><span style="font-size: 16px;">4. 启动Pig</span></p> <p>&nbsp;</p> <p>&nbsp;</p> <pre class="java" name="code">/home/hadoop/pig-0.14.0/bin/pig</pre> <p>&nbsp;</p> <p><span style="font-size: 16px;">&nbsp;</span></p> <p><span style="font-size: 16px;">启动的结果：</span></p> <p>&nbsp;</p> <pre class="java" name="code">hadoop@tom-Inspiron-3521:~/pig-0.14.0/bin$ ./pig14/12/28 12:31:03 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL14/12/28 12:31:03 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE14/12/28 12:31:03 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType2014-12-28 12:31:03,217 [main] INFO org.apache.pig.Main - Apache Pig version 0.14.0 (r1640057) compiled Nov 16 2014, 18:02:052014-12-28 12:31:03,217 [main] INFO org.apache.pig.Main - Logging error messages to: /home/hadoop/pig-0.14.0/bin/pig_1419741063215.log2014-12-28 12:31:03,279 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/hadoop/.pigbootup not found2014-12-28 12:31:04,154 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address2014-12-28 12:31:04,154 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS2014-12-28 12:31:04,154 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://yuzhitao-Inspiron-3521:90002014-12-28 12:31:06,100 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFSgrunt&gt; </pre> <p><span style="font-size: 16px;">&nbsp;</span></p> <h2>Pig基本使用</h2> <p><span style="font-size: 16px;">1. 启动Hadoop2.5.2<br /></span></p> <p><span style="font-size: 16px;">2. 准备数据集 vim $PIG_HOME/data/sampledata.txt</span></p> <p>&nbsp;</p> <span style="font-size: 16px;">2014:11:23</span> <br /> <span style="font-size: 16px;">2014:11:61</span> <br /> <span style="font-size: 16px;">2014:12:32</span> <br /> <span style="font-size: 16px;">2014:8:11</span> </div> 留言需要登陆哦

评论

技术博客集 - 网站简介：
前后端技术：
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成
网站主要作用：
1.编程技术分享及讨论交流，内置聊天系统;
2.测试交流框架问题，比如：Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识，如有侵权请发邮件到站长邮箱，站长会尽快处理;
4.站长邮箱：[email protected];

  订阅博客周刊 去订阅
×
订阅博客周刊规则
只针对用有效邮箱注册的同学有意义;
订阅后网站每周会发送上一周最新博客1-2篇到你的邮箱...
关闭 立即订阅

文章归档

• 2021-04
• 2021-05
• 2021-06
• 2021-07
• 2021-08
• 2021-09
• 2021-10
• 2021-11
• 2021-12
• 2022-01
• 2022-02
• 2022-03

文章标签

• 高级程序员 初级程序员 国内论文抄袭 卫星连接 iPhone 14 苹果安全漏洞 VE-2022-32893 Google 工作的时间 工作的酬劳 工作的意义 大卫·格雷伯 谷歌搜索 Windows Gitlab 谷歌(GOOG.US) 百度seo windows12 微信注册 伪造二维码 qq盗号 一周三休制 三休制度 微信支付 人工智能 LaMDA AI 【济南推行五包一防控工作机制】 菏泽市召开第八场疫情防控工作新闻发布会 郑州酒店 上海酒店 第一次约会该谈论的事 阿里云服务器 新贴吧，水贴 Google产品评论算法 网络爬虫的道德与礼仪 手机应用程序无权过度索要个人信息 互联网政策法规 网站排名不稳定的原因分析 页面优化技巧分析 外链对提升网站排名的作用 网站结构如果合理优化 网站重复页面过多的解决办法 搜索引擎从哪些方面判断 怎么提高网站转化率 了解seo原理才能知道怎么加速提升网站排名 深入了解seo原理 怎么正确的来更换空间 网站排名下降的原因 怎么样的优化能提升网站的质量

友情链接

• 侯体宗的博客
• 佘春晓的博客
• 友链位

首页

关于我们

Auther ·HouTiZong

侯体宗的博客

© 2020 zongscan.com

版权所有ICP证 : 粤ICP备20027696号

也可以扫右边的二维码