使用Spark和Scala怎么分析Apache访问日志，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。
10年积累的网站设计制作、
做网站经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先
做网站后付款的网站建设流程，更有
康马免费网站建设让你可以放心的选择与我们合作。
安装
首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：
$ sbt/sbt assembly
构建时间比较长。构建完成后，通过运行下面命令确证安装成功：
$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用scala> textFile.count // 对这个文件内容行数进行计数scala> textFile.first // 打印出第一行
Apache访问日志分析器
首先我们需要使用Scala编写一个对Apache访问日志的分析器，所幸已经有人编写完成，下载Apache logfile parser code。使用SBT进行编译打包：
sbt compilesbt testsbt package
打包名称假设为AlsApacheLogParser.jar。然后在Linux命令行启动Spark：
// this works$ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell
对于Spark 0.9，有些方式并不起效：
// does not work$ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell// does not workspark> :cp AlsApacheLogParser.jar
上传成功后，在Spark REPL创建AccessLogParser 实例：
import com.alvinalexander.accesslogparser._val p = new AccessLogParser
现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small：
scala> val log = sc.textFile("accesslog.small")14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=30922506214/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at :15scala> log.count(a lot of output here)res0: Long = 100000
分析Apache日志
我们可以分析Apache日志中404有多少个，创建方法如下：
def getStatusCode(line: Option[AccessLogRecord]) = { line match { case Some(l) => l.httpStatusCode case None => "0" }}
其中Option[AccessLogRecord]是分析器的返回值。
然后在Spark命令行使用如下：
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count
这个统计将返回httpStatusCode是404的行数。
深入挖掘
下面如果我们想知道哪些URL是有问题的，比如URL中有一个空格等导致404错误，显然需要下面步骤：
过滤出所有 404 记录 从每个404记录得到request字段(分析器请求的URL字符串是否有空格等) 不要返回重复的记录
创建下面方法：
// get the `request` field from an access log recorddef getRequest(rawAccessLogString: String): Option[String] = { val accessLogRecordOption = p.parseRecord(rawAccessLogString) accessLogRecordOption match { case Some(rec) => Some(rec.request) case None => None }}
将这些代码贴入Spark REPL，再运行如下代码：
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).countval recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_))val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinctdistinctRecs.foreach(println)
看完上述内容，你们掌握使用Spark和Scala怎么分析Apache访问日志的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注创新互联行业资讯频道，感谢各位的阅读！
网站标题：使用Spark和Scala怎么分析Apache访问日志-创新互联
转载源于：
http://cdkjz.cn/article/dgojco.html
