Ceph相关命令

关于osd自动重启

/etc/crontab里面每隔2分钟会调用 /etc/cron.daily/keep_osd.sh

关闭osd

1 mv /etc/cron.daily/keep_osd.sh /etc/cron.daily/keep_osd.sh_back
2 systemctl  stop ceph-osd@0.service

查看osd的参数

ceph daemon osd.0 config show  |grep osd_op_num

动态修改osd的配置参数

 ceph tell  osd.* injectargs "--debug_kstore 20"ceph tell  osd.0 injectargs "--debug_osd 20"ceph tell  osd.* injectargs "--debug_rocksdb 0"ceph tell  osd.0 injectargs "--debug_bluestore 20"ceph tell  osd.339 injectargs "--debug_rocksdb 4"

查看osd里面bluestore的kv数据

1 先关闭osd
2 建立备份文件夹 mkdir -p /ceph-0/
3 把osd的sst文件导出：	/usr/local/hstor/ceph_dir/bin/ceph-bluestore-tool bluefs-export --path /var/lib/ceph/osd/ceph-0 --out-dir /ceph-0/4  查看kv记录/usr/local/hstor/ceph_dir/bin/ceph-kvstore-tool  rocksdb /ceph-0/db/ list 

查看rocksdb里面的kv

	1 查看单个sst文件./sst_dump --file=/home/d11626_back/000043.sst --command=scan --read_num=5./sst_dump --file=/home/d11626_back/000043.sst --command=scan --read_num=5 --output_hex2 查看整个key的kv对./ldb --db=/tmp/rocksdb20 scan./ldb --db=/tmp/rocksdb20 scan --hex3 查看manifest/home/d11626_back/clionProjects/rocksdb-6.15.5/cmake-build-release/tools/ldb --db=/tmp/rocksdb8 manifest_dump

参考资料
https://wanghenshui.github.io/rocksdb-doc-cn/doc/Administration-and-Data-Access-Tool.html

查看集群都有哪些osd

 ceph osd tree

查看集群都有哪些pool

ceph osd pool ls detail
可以看到存储池对应的 crush_rule id
或者:
ceph osd pool ls 

查看所有的pg

ceph pg stat
ceph pg dump

查看pg都分布在哪些osd上

# 第一列pgID 第二列 是迁移的目标位置  第三列是 目前还在生效的位置
ceph pg dump  |awk '{print $1,$16,$18}' |grep '\['# 迁移后的 分布情况ceph pg dump|awk '{print $1,$16}' |grep '\[' |awk '{print $2}' |sort  |uniq -c# 不管迁移情况 只统计目前生效的位置ceph pg dump|awk '{print $1,$18}' |grep '\[' |awk '{print $2}' |sort  |uniq -c

查看某个pool下都有哪些pg

ceph pg ls {pool_id}
ceph pg ls-by-pool {pool_name}

查看某个pg 在哪些osd上

ceph pg dump| grep ^9.77  |awk '{print $16}'
9.77 就是一个pgid

查看存储池的详细配置

cloud cluster pool rule display pool_name=fubenpool-2
fubenpool-2 是存储池名称

查看slow request

ceph daemon osd.23   dump_historic_ops_by_duration |head
ceph daemon osd.28   dump_historic_slow_ops
ceph daemon osd.28   dump_op_pq_state

查看有哪些buckets

radosgw-admin bucket list

查看某个bucket的详细信息

radosgw-admin bucket stats --bucket=my-bucket

查看某个buckets下的文件列表

radosgw-admin bucket list  --bucket=my-bucket

查看某个buckets下的索引对象

rados -p default.rgw.buckets.index ls  | grep "a0313951-dde2-4282-a46e-27528af2b57f.1154186.1"
可能有多个.dir开头的对象，因为对象也要分片

获取 对象数据，写入本地的indexfile文件

rados -p rados -p default.rgw.buckets.index get .dir.a0313951-dde2-4282-a46e-27528af2b57f.4972.1.57 indexfile
indexfile是空

查看某个索引对象下都包含了哪些文件

rados -p default.rgw.buckets.index listomapkeys .dir.a0313951-dde2-4282-a46e-27528af2b57f.1154186.1.57

在这个索引对象下，查看grub2.cfg这个文件的omap数据，写入a.file

 rados getomapval  -p default.rgw.buckets.index  .dir.a0313951-dde2-4282-a46e-27528af2b57f.1154186.1.57  grub2.cfg a.file
把a.file解析成json形式
ceph-dencoder type rgw_bucket_dir_entry import a.file decode dump_json

查看某个bucket索引分片对象下，都有哪些文件

 seq 0 100 |xargs -I abc sh -c "echo {} ; rados -p default.rgw.buckets.index listomapkeys .dir.a0313951-dde2-4282-a46e-27528af2b57f.4972.1.abc"

查看bluefs的统计信息

 ceph daemon osd.0 perf dump bluefs