资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Impala隐藏的惊天秘密-创新互联

元数据作为大数据的源泉,有着非常重要的作用。可在Impala中却隐藏着一个秘密?和元数据有着颇深的渊源,我们一起来追溯!

站在用户的角度思考问题,与客户深入沟通,找到江岸网站设计与江岸网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广、域名注册雅安服务器托管、企业邮箱。业务覆盖江岸地区。

一、Impala体系结构

(1)每个slave节点运行一个Impala进程,和HDFS的DataNode进程同时协作

(2)两个其他的进程运行在master节点,用来支持查询执行

1、State Store进程:为ImpalaDaemon提供查×××,并周期性地检查Impala进程状态

2、Catalog进程:把元数据的变更同步到所有ImpalaDaemons中

Impala隐藏的惊天秘密

二、Impala如何执行查询

(1)Impala daemon查询执行过程

客户端(Impala-shell或Hue)连接到Impala daemon,它是Coordinator。Coordinator从State Store请求其他的Impala daemons,并把查询分发给其他的Impala daemons,最后返回结果给客户端。

Impala隐藏的惊天秘密

三、元数据缓存

根据Impala的查询功能,我们可以知道在Impala里面存在元数据的缓存。元数据保存在Hive的Metastore里面,那么元数据缓存的作用是什么呢?就是在Impala启动的时候,将元数据缓存到Impala daemon的节点。当Impala daemon发起元数据变更的时候,比如说创建表,删除表,或者修改表的定义,这些都是可以缓存下来的。如果我们去查询表信息的时候,可以从缓存里面找到,直接在节点中进行查询,所以在每个Impala daemon里面有metadata cache节点用作缓存。

Impala隐藏的惊天秘密

而当Impala进程改变了元数据,将会提示catalog服务,Catalog服务通知所有Impala daemons来更新缓存。

Impala隐藏的惊天秘密

四、外部改变和元数据缓存

我们上面讲的都是内部的改变,然而很多时候还会有外部的改变,可外部的改变对于Impala来说是未知的,比如:

(1)Hive、Hcatalog或HueMetadata Manager改变了元数据

(2)数据直接添加到HDFS目录

Impala隐藏的惊天秘密

外部的改变将导致Impala元数据缓存变得不可用,我们必须手动的刷新或验证Impala的元数据缓存。

当然,这种改变根据改变内容和性质的不同,有不同的方法去更新,比如:

Impala隐藏的惊天秘密

有疑问,欢迎来吐槽,关注微信公众号“大数据cn”, 每天同行嗨不停,还有更多资源等着你!

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


名称栏目:Impala隐藏的惊天秘密-创新互联
标题链接:http://cdkjz.cn/article/gjpeo.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

业务热线:400-028-6601 / 大客户专线   成都:13518219792   座机:028-86922220