Spark JobHistory Server清理日志功能未生效,导致频繁挂掉

查看日志清理功能是打开的：spark.history.fs.cleaner.enabled = true，
spark.history.fs.cleaner.interval 和spark.history.fs.cleaner.maxAge使用的是默认值。
但是/user/spark/applicationHistory/ 目录下日志一直未不清理！存储的日志数量超过所允许的最大值。
缩短maxAge时间，然后重启了服务器，发现日志确实被清理了些。
但是还有大量未被清理的，有些运行时失败的spark job的日志没有被清理掉！
例如/user/spark/applicationHistory/application_XXX.inprogress
手动清理掉这些文件，spark Historyserver恢复正常！