今天,对照晚上的kafka+Spark streaming+redis实时数据分析系统实战(https://www.iteblog.com/archives/1378
网站建设哪家好,找创新互联!专注于网页设计、网站建设、微信开发、小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了个旧免费建站欢迎大家使用!
主要目的是整合kafka和Spark,Redis。
Redis一直没用过,所以比较犯难,果然,在前面都没什么问题,后面的redis部分,遇到了一个问题:
没有发现GenericObjectPoolConfig这个类。
百度了好久,一直找不到解决的办法,后来,才明白,这应该是个maven的库包,所以,在
http://maven.outofmemory.cn/org.apache.commons/commons-pool2/2.2/
这页,找到了maven的配置依赖信息:
果断在pom.xml中添加,一番动作之后,OK了!
顺便研究了一下这个GenericObjectPool玩意,初步了解了GenericObjectPool是apache提供的对象池。
对象池创建(参考GenericObjectPool):
public GenericObjectPool(PoolableObjectFactory factory, GenericObjectPool.Config config) : 此方法创建一个GenericObjectPool实例,GenericObjectPool类已经实现了和对象池有关的所有核心操作,开发者可以通过继承或者封装的方式来使用它.通过此构造函数,我们能够清晰的看到,一个Pool中需要指定PoolableObjectFactory 实例,以及此对象池的Config信息.PoolableObjectFactory主要用来"创建新对象",比如当对象池中的对象不足时,可以使用 PoolableObjectFactory.makeObject()方法来创建对象,并交付给Pool管理.
此构造函数实例化了一个LinkedList作为"对象池"容器,用来存取"对象".此外还会根据timeBetweenEvictionRunsMillis的值来决定是否启动一个后台线程,此线程用来周期性扫描pool中的对象列表,已检测"对象池中的对象"空闲(idle)的时间是否达到了阀值,如果是,则移除此对象.
本文先记录下几个相关的网页,以备不时之需:
1、GenericObjectPool源码分析:
http://www.cnblogs.com/chenjian5/p/5149312.html
2、GenericObjectPool的javadoc
http://commons.apache.org/proper/commons-pool/api-1.6/org/apache/commons/pool/impl/GenericObjectPool.html
3、GenericObjectPool对象池使用优化
http://www.jianshu.com/p/397169e211de
4、apache-common pool的使用
http://www.open-open.com/lib/view/open1415453575730.html
当然啦,最值得保留的,应该是maven的中央资源库:http://maven.outofmemory.cn/