Apchepig计算数据如何导入Hbase

这篇文章主要为大家展示了“Apche pig计算数据如何导入Hbase”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Apche pig计算数据如何导入Hbase”这篇文章吧。

网站建设公司,为您提供网站建设,网站制作,网页设计及定制网站建设服务,专注于成都企业网站定制,高端网页制作,对成都砂岩浮雕等多个行业拥有丰富的网站建设经验的网站建设公司。专业网站设计,网站优化推广哪家好,专业seo优化优化,H5建站,响应式网站。

1.pig将数据导入或加载到hbase使用HBaseStorage UDF函数,地址： http://pig.apache.org/docs/r0.11.0/func.html#HBaseStorage

   在shell中案例：

     pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF
           recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray);
          STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items');
     EOF

   （提示：EOF是将其他应用程序在shell中输出，切记:特别在shell中有if判断语句 EOF要顶格写)

 2.    STORE [加载pig数据集别名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');

 3.注意：

   1.在伪分布式下启动，在zookeeper,hbase正常启动情况下可以导入，

    2.正式环境下配置：

       2.1在 $PIG_HOME/conf/pig.properties加入:

     # -----------------------------------------------------------------------------------------------------------------------------------------

       #pig.load.default.statements=     

      hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167       

      hbase.master.info.bindAddress=10.11.5.222 

      hbase.master.port=60000

    # --------------------------------------------------------------------------------------------------------------------------------------------

    #hbase.zookeeper.quorum= zookeeper集群地址

    #hbase.master.info.bindAddress=hbase master地址

    #hbase.master.port=hbase master端口

   2.2 在$PIG_HOME/lib复制3个包:

        protobuf-java-2.4.0a.jar   

        hbase-0.94.1.jar

        zookeeper-3.4.3.jar

       这个几个包可以从$HBASE_HOME/lib 和 $HBASE_HOME目下获取

以上是“Apche pig计算数据如何导入Hbase”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！