Spark LDA 实例
一、准备数据
成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：网站制作、
成都网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的
扎赉诺尔网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
数据格式为：documents: RDD[(Long, Vector)]，其中：Long为文章ID，Vector为文章分词后的词向量；
通过分词以及数据格式的转换，转换成RDD[(Long, Vector)]即可。
二、建立模型
import org.apache.spark.mllib.clustering._
val ldaOptimizer = new OnlineLDAOptimizer().setOptimizeDocConcentration(true)
val lda = new LDA()
lda.setK(params.k)
.setMaxIterations(params.maxIterations)
.setDocConcentration(params.docConcentration)
.setTopicConcentration(params.topicConcentration)
.setOptimizer(ldaOptimizer)
.setCheckpointInterval(10)
.setSeed(1234)
val modelLDA: LDAModel = lda.run(corpus)
modelLDA.save(sc.sparkContext, params.modelPath)
三、模型参数
case class NewsParams(
k: Int = 100,
maxIterations: Int = 100,
docConcentration: Double = -1,
topicConcentration: Double = -1,
stopWordFile: String = "zh_stopwords.txt",
modelPath: String = "LDAModel.14.100",
ldaJsonPath:String = "ldaModel.14.200.json",
vocabPath: String = "vocab_info" )
四、结果输出
topicsMatrix以及topics(word,topic))输出。mllib上的lda不是分布式的，目前只存储topic的信息，而不存储doc的信息，如果获取只能使用ml中的lda或者通过以下代码实现。
val ldaModel = lda.run(documents)
val distLDAModel = ldaModel.asInstanceOf[DistributedLDAModel]
distLDAModel.topicDistributions
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网页名称：SparkLDA实例-创新互联
本文网址：
http://cdkjz.cn/article/cshopd.html
