常用的函数：

select、lit、as、groupBy、agg、sum、as、where、withColumn、 col、 when、 otherwise、 join、withColumnRenamed、 isin、 cast、 $、 union、 gt、 struct、sort、desc、show、orderBy、asc、repartition、sortWithinPartitions、filter、selectExpr、pivot、expr、row_number、over、 partitionBy

1
2
3
4
5
6

df
.select($"id",lit(1).as("cnt"))
.groupBy("idd")
.agg(sum("cnt").as("total"))
.where("total >=" + cnt2)
.select("uid","total")

UDF：

spark.udf.register

参考链接:

• SparkSQL DSL开发
• Column
• Dataset
• functions
• sql
• Scalar User Defined Functions (UDFs)
• SparkSQL DSL 随便写写
• SparkSQL案例——用SQL和DSL两种语法格式，求出用户连续登录天数