1. 概述
在Spark中,非聚合函数与聚合函数不同,它们不会对整个数据集或数据集的某个分组进行汇总或计算统计信息。相反,非聚合函数通常用于对单个数据项或数据行进行转换、处理或提取信息。
2. 函数列表
用途 | 函数 | 示例 | 结果 |
对比同行中各列的值,返回最大值 跳过空值, 所有参与比较的expr类型需一致 | greatest(col1, col2, …) | greatest(5,200,10) | 200 |
对比同行中各列的值,返回最小值 跳过空值, 所有参与比较的expr类型需一致 | least(col1, col2, ...) | least(5,200,10) | 5 |