资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

spark简单例子-创新互联

一、统计指定索引的每个值有多少个:

站在用户的角度思考问题,与客户深入沟通,找到八宿网站设计与八宿网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:成都做网站、网站设计、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广、域名与空间、虚拟空间、企业邮箱。业务覆盖八宿地区。

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");

var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)

二、统计数据列数

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");

var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享标题:spark简单例子-创新互联
网页路径:http://cdkjz.cn/article/gggps.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220