使用IDEA编写SparkSql自定义聚合函数——强类型Dataset(求平均值)

SparkSql自定义聚合函数(强类型Dataset)求平均值 强类型的Dataset提供了相关的聚合函数, 如 count(),countDistinct(),avg(),max(),min(); 除此之外,用户可以设定自己的自定义聚合函数。 代码测试前请确保各个组件均已安装 1、环境准备 1、准备json文件: {name: zhangsan,age: 17} {name: lisi,age: 18} {name: wangwu,age: 20} 2、使用IDEA软件,创建maven工程 3、添加pom依赖 2、maven工程pom依赖 4.0.0