这篇文章给大家介绍怎么实现spark的官网原生监控整理，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。
创新互联是一家集网站建设,衡南企业网站建设,衡南品牌网站建设,网站定制,衡南网站建设报价,网络营销,网络优化,
衡南网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
一.官网解析
1.官网位置截图Monitoring
2.解释
对于默认的webui 你访问完就不可以在看到了
这样你不可能知道之前发生什么事情
你可以通过配置在界面上显示
3.spark.eventLog.enabled 打开
你要把spark.eventLog.enabled to true before starting the application. 这个打开
这个配置在spark-default.conf spark.eventLog.enabled true
4.官网体现
5.配置文件体现
配置文件体现，配置成hdfs的
这个只用来存取，供页面使用
二.配置日志位置的读取
1.读取配置
读取这个存储日志文件的位置要在spark.env.sh配置
"-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777"
这个是页面可以取这个存储日志下去读，还可以设置端口
2.读取顺序
看最后一项SPARK_HISTORY_OPTS
后面的这些参数要配置到SPARK_HISTORY_OPTS=（配置下面参数） 都在psrk-env.sh
3.注意要设置时间间隔和清理时间参数
这三项是防止不清楚日志hdfs存满
一个是把自动清除开关打开，隔多久清理一次，清理一次要清理多久的数据
4.启动
最后要启动start-history-server.sh
访问你的启动主机的ip:你设置的端口号
5.结果展示
6.注意事项
Incomplete 产生原因
一个是正在运行，另一个是没有sc.stop情况下
所以一定要sc.stop
三.第二种监控方式REST风格
1.官网
2.访问方式类似
你可以自己定制，改变，拿到json
结果 ，访问路径 http://s201:7777/api/v1/applications
3.结果展示
关于怎么实现spark的官网原生监控整理就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
本文标题：怎么实现spark的官网原生监控整理-创新互联
网页URL：
http://cdkjz.cn/article/cejcsg.html
