欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 焦点 > IoTDB 报错:Allocate WAL Buffer Fail Because out of memory

IoTDB 报错:Allocate WAL Buffer Fail Because out of memory

2024/12/23 4:56:22 来源:https://blog.csdn.net/qiaojialin/article/details/144383331  浏览:    关键词:IoTDB 报错:Allocate WAL Buffer Fail Because out of memory

现象

时序数据库 IoTDB 的 Region 目录创建成功后,wal buffer 创建失败,日志参考如下:
在这里插入图片描述在这里插入图片描述

原因

数据在写入过程中会先写入 WAL,WAL 在申请堆外空间过程中,空间不足申请失败,导致无法写入 WAL。

解决方案

(1)调大堆外内存

  • 1.3.0 以及之后的版本:在 conf/datanode-env.sh 或 conf/datanode-env.bat 中找到 OFF_HEAP_MEMORY 并调大,然后再次启动。
  • 1.3.0 之前的版本:在 conf/datanode-env.sh 或 conf/datanode-env.bat 中找到 MAX_DIRECT_MEMORY_SIZE 并调大,然后再次启动。

(2)降低各个模块对 direct memory 的使用量

wal_buffer_size_in_byte=33554432
schema_region_ratis_log_appender_buffer_size_max=16777216

1.3.3 版本前,可以在 conf/iotdb-common.properties 中找到以上配置。1.3.3 版本后,可在 conf/iotdb-system.properties.template 中找到以上参数,需要在 iotdb-system.properties 中进行设置。

在当前已有的任意版本中,以上参数修改后都需要重启才能生效。

配置时可根据系统中的 data region 数、schema region 数进行计算:wal_buffer_size_in_bytedata region 数+schema_region_ratis_log_appender_buffer_size_maxschema region 数 < OFF_HEAP_MEMORY*0.8。

其中,保留 20% 堆外内存用于各模块中的临时使用。

需要注意的是,修改以上两个参数可能对性能有一定影响,如果发现调整后存在写入性能下降的情况,建议恢复这两个配置参数并采用调大堆外内存的修复方式。

修改样例:

假设当前配置下分配 OFF_HEAP_MEMORY 为 2G,data region 和 schema region 为 1000 个。此时需要的 direct memory 为 48000 MB,为了让系统能正常运行,可以按比例调整以上两个参数为原来的 20480.8/48100=0.034 倍,此时 wal_buffer_size_in_byte 为 1140850,schema_region_ratis_log_appender_buffer_size_max 为 570425。

(3)调整建模

当以上方式都无法解决时,建议调整建模,降低 db 的数量。
对于无法启动的情况,需要大幅调小上一节中提到的两个配置参数以保证顺利启动,在启动后删除一些不使用的 db,然后将以上两个参数恢复正常大小并重启。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com