查看日志清理功能是打开的:spark.history.fs.cleaner.enabled = true,
spark.history.fs.cleaner.interval 和spark.history.fs.cleaner.maxAge使用的是默认值。
但是/user/spark/applicationHistory/ 目录下日志一直未不清理!存储的日志数量超过所允许的最大值。
缩短maxAge时间,然后重启了服务器,发现日志确实被清理了些。
但是还有大量未被清理的,有些运行时失败的spark job的日志没有被清理掉!
例如/user/spark/applicationHistory/application_XXX.inprogress
手动清理掉这些文件,spark Historyserver恢复正常!
Spark JobHistory Server清理日志功能未生效,导致频繁挂掉
2024/10/25 5:11:23
来源:https://blog.csdn.net/sunxunyong/article/details/142450107
浏览:
次
关键词:Spark JobHistory Server清理日志功能未生效,导致频繁挂掉
版权声明:
本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。
我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com
热文排行
最新新闻
- Spark JobHistory Server清理日志功能未生效,导致频繁挂掉
- python股票接口,如何从零开始构建量化交易系统
- 2024.9.27 Python面试八股文
- apache服务
- 【Linux服务器Java环境搭建】012在linux中安装消息队列RabbitMQ,以及对RabbitMQ设置、启动、开启可视化
- 09年408考研真题-数据结构
- 2332. 坐上公交的最晚时间
- 【Pydantic库】Pydantic是一个用于数据验证和设置管理的Python库
- 滚雪球学Redis[9.1讲]:Redis常见问题排查指南:解决错误、优化性能与确保数据一致性
- 图像处理 -- Sobel滤波器的实现原理与使用案例
推荐新闻
- Spark JobHistory Server清理日志功能未生效,导致频繁挂掉
- python股票接口,如何从零开始构建量化交易系统
- 2024.9.27 Python面试八股文
- apache服务
- 【Linux服务器Java环境搭建】012在linux中安装消息队列RabbitMQ,以及对RabbitMQ设置、启动、开启可视化
- 09年408考研真题-数据结构
- 2332. 坐上公交的最晚时间
- 【Pydantic库】Pydantic是一个用于数据验证和设置管理的Python库
- 滚雪球学Redis[9.1讲]:Redis常见问题排查指南:解决错误、优化性能与确保数据一致性
- 图像处理 -- Sobel滤波器的实现原理与使用案例