从品牌网站建设到网络营销策划,从策略到执行的一站式服务
本篇文章为大家展示了Spark中怎么自定义函数,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
在城步等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站建设、网站设计 网站设计制作按需定制网站,公司网站建设,企业网站建设,品牌网站设计,成都全网营销推广,成都外贸网站建设,城步网站建设费用合理。
UDF函数
def myUdf(id: Int) = s"tag$id" sqlContext.udf.register("myUdf", myUdf(_:Int)) df.registerTempTable("tb1") sqlContext.sql("select myUdf(col1) from tb1 ") val myUdf = udf((vec: Int) => s"tag$vec") df.withColumn("newId",myUdf($"item")).show() spark.udf.register("myfunction", (str: String) => { ... })
SparkSessionUDF
val spark: SparkSession = SparkSession.builder().master("local") .appName(getClass.getSimpleName) .enableHiveSupport() .getOrCreate() import org.apache.spark.sql.functions._ val userData = Array(("A", 16), ("B", 21), ("C", 14), ("D", 18)) val userDF = spark.createDataFrame(userData).toDF("name", "age") val strLen = udf((str: String) => str.length()) userDF.withColumn("name_len", strLen(col("name"))) userDF.show(false)
上述内容就是Spark中怎么自定义函数,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图