Spark聚合统计函数

用途

函数

示例

结果

求和

sum(col)

try_sum(col) *

sum([expr1])

try_sum([expr1])

20

平均值

avg(col)

mean(col)

try_avg(col) *

avg([expr1])

mean([expr])

try_avg([expr])

3.333333

计数

count(*)：返回包含null的行数； count(col)：返回col列非null的行数。

count(col)

count(*)

count([expr1])

7

6

去重计数
count_distinct是精确计算；approx_count_distinct是近似估算。

count(distinct col)

approx_count_distinct(col) *

count(distinct [expr1])

approx_count_distinct([expr1])

5

5

对计算满足特定条件的值计数

count_if(expr)

count_if([expr1]>=3 and [expr1]<=5)

2

去重求和

sum(distinct col)

sum(distinct [expr1])

18

最大值

max(col)

max([expr1])

6

返回与y的最大值关联的x的值

max_by(x, y)

max_by([expr1],[Date])

null

最小值

min(col)

min([expr1])

1

返回与y的最小值关联的x的值

min_by(x, y)

min_by([expr2],[Date])

4

中位数

median(col)

median([expr1])

3

众数，即列中最频繁的值。

mode(col)

mode([expr1])

2

返回数据列的确切百分位数值。

百分比在0.0和1.0之间，可用于求四分位数。

percentile(col, pct)

percentile([expr1],0.5)

percentile([expr1],array(0.25,0.5,0.75))

3

[2.0, 3.0, 4.75]

返回数据列的近似百分位数值。

百分比在0.0和1.0之间，可用于求四分位数。acc越高越精确，省略时默认为10000。

approx_percentile(col, pct [, acc]) *

percentile_approx(col, pct [, acc]) *

approx_percentile([expr1],0.5)

2

总体标准差

stddev_pop(col)

stddev_pop([expr1])

1.795055

样本标准差

std(col) ; stddev(col) ;

stddev_samp(col)

stddev([expr1])

1.966384

总体方差

var_pop(col)

var_pop([expr1])

3.222222

样本方差

var_samp(col) variance(col)

var_samp([expr1])

3.866667

返回两个数值之间的总体协方差。

covar_pop(col1,col2)

covar_pop([expr1],[expr2])

0.222222

返回两个数值之间的样本协方差。

covar_samp(col1,col2)

covar_samp([expr1],[expr2])

0.266667

两个数值列之间的皮尔逊相关系数

corr(col1,col2)

corr([expr1],[expr2])

0.092131