package mydemo
import org.apache.spark.{SparkConf, SparkContext}
object MyWordContextDemo {
def main(args: Array[String]): Unit = {
// 创建一个 Config
val conf = new SparkConf().setAppName("MyWordContext")
// 创建 SparkContext 对象
val sc = new SparkContext(conf)
// 使用sc 对象执行相应的算子
sc.textFile(args(0)) // 从第一个参数获取文件路径并打开
.flatMap(_.split(" ")) // 先 map 再压平
.map((_, 1)) // 将单词和 1 构成元组
.reduceByKey(_ + _) // 根据Key 进行 Reduce，并将 value 累加
.saveAsTextFile(args(1)) // 将结果输出到文件
// 停止 SparkContext 对象
sc.stop()
}
}==> 运行程序：
榆中网站制作公司哪家好，找
创新互联！从网页设计、网站建设、微信开发、APP开发、
响应式网站设计等网站项目制作，到程序开发，运营维护。
创新互联成立于2013年到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选
创新互联。
---> 首先将程序打包成 jar 包
---> 执行以下命令
spark-submit --master spark://bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt
---> 命令解释：
---- spark-submit spark 命令
---- --master spark://bigdata0:7077
---- --class 指定类名
---- scalawordcontext.jar 将自己与的程序打成的jar 包
---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt 指定处理好的数据输出的文件
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
当前名称：使用Scala写WordContext程序-创新互联
转载注明：
http://cdkjz.cn/article/decdgh.html
