一 摘要
本文主要介绍一套本地备份、跨机器备份、历史备份清理脚本，使用场景如数据库备份等
二 环境
linux 系列系统 基本都支持，个别命令可能需要微调。
2.1 实验环境
[root@localhost rsync]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)
三 脚本介绍
介绍脚本主要功能模块及目录结构
3.1 脚本目录结构
[root@projun002 data]# cd scripts/
[root@projun002 scripts]# tree
.
├── backup
│ ├── backup_mysql.sh
│ └── backup_nginx.sh
├── delete
│ ├── delete_dockercompse.sh
│ ├── delete_jira.sh
│ ├── delete_mysql.sh
│ ├── delete_nginx.sh
│ └── deleteoldfile.sh
├── logs
│ ├── backup_mysql.INFO.2024-06-26.log
│ ├── backup_mysql.INFO.2024-06-27.log
└── rsync├── push_rsync_devopsapp.sh├── push_rsync_gitlabtar.sh├── push_rsync_jira.sh└── rsync_tools.sh
/scripts/backup/ 主要存放本机备份脚本；
/scripts/rsync/ 主要存放跨机备份脚本；
/scripts/delete/ 主要存放删除本机历史备份和日志文件脚本；
/scripts/logs/ 主要存放日志文件；
3.2 以备份mysql 为例介绍脚本及使用办法
3.2.1 /scripts/backup/backup_mysql.sh
该脚本里基于mysqldump 备份数据库，既可以备份基于容器部署的mysql,也可以部署基于rpm 包安装的数据库；
注意几点：备份好后，一定要验证是否能顺利恢复。
因为mysql 配置不同，备份命令也要基于自己的配置修改
比如default-character-set=utf8 ，您的库不是utf-8，那就要改了。
#!/bin/bash# 数据库连接信息DB_HOST="127.0.0.1"DB_PORT="3306"DB_USER="root"DB_PASSWD="test"# 时间格式化,如 20211216DATE="`date +%Y%m%d%H%M%S`"
# 备份文件目录DIR_BACKUP="/data/backup/devopsapp/mysqldata"#备份应用
APP_NAME="mysql"
#脚本根目录
SCRIPT_DIR="/data/scripts/"DIR_LOG="${SCRIPT_DIR}/logs"FILE_LOG="${DIR_LOG}/backup_${APP_NAME}.INFO.`date +%F`.log"# 备份数据库名DATABASES=("jira mysql")# mysql docker id
MYSQL_DOCKER_ID=`docker ps -a | grep devopsappmysql | awk '{print $1}'`# 测试目录， 目录不存在则自动创建# test -d ${DIR_LOG} || echo passwd | sudo -S mkdir -p ${DIR_LOG}test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}
test -d ${DIR_BACKUP} || mkdir -p ${DIR_BACKUP}# ------------------- 2021-12-16_17:40:48 Start -------------------echo -e "\n----------------- $(date +%F\ %T) Start -----------------"echo -e "\n================= $(date +%F\ %T) Start =================" >> ${FILE_LOG}# 遍历数据库名for database in ${DATABASES[@]}; do # 打印备份的数据库名echo "----------- Current backup database: [ ${database} ] ------------"echo "-------------- Backed-up database: [ ${database} ] --------------" >> ${FILE_LOG}docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${database} | gzip > ${DIR_BACKUP}/mysqlbackup_${database}_${DATE}.sql.gz"done# 备份指定的数据库# mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz# docker 版本
#docker exec -i ${MYSQL_DOCKER_ID} sh -c " mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -B ${DATABASES} | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gz"# # 备份全部数据库# mysqldump --opt --single-transaction --master-data=2 --default-character-set=utf8 -h${DB_HOST} -P${DB_PORT} -u${DB_USER} -p${DB_PASSWD} -A | gzip > ${DIR_BACKUP}/mysql_backup_${DATE}.sql.gzecho "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]"echo "------- Backup file created: [ mysql_backup_${DATE}.sql.gz ]" >> ${FILE_LOG}3.2.2 /data/scripts/rsync/push_rsync_mysql.sh
该脚本主要是将备份备份文件通过rsync 方式传到另一台机器实现跨机器备份
#!/bin/bash
####
#基于rsync 或者scp 实现跨物理机数据传输
#date:20240415 authro:weibi2
####应用名称
APP_NAME=mysql
# 远程主机 主机信息
DEST_HOST=10.3.170.73
DEST_USER=root
#需要到push 主机手工新建该目录
DEST__DIR="/data/backup/76server/mysqldata"# 本机信息SCRIPT_DIR="/data/scripts"
#备份日志文件目录
LOG_DIR="${SCRIPT_DIR}/logs"
#rsync 日志文件
LOG_FILE="${LOG_DIR}/rsync_${APP_NAME}.`date +%F`.log"#源目录 ，同步文件所在目录
#注意最后一个下划线
SRC_DIR="/data/backup/devopsapp/mysqldata/"# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR} #rsync -avzP -e "ssh -p 22" /data/yunweipro/devopsapp/jira/data/export/ root@10.3.170.73:/data/backup/devopsapp/jira/export/nohup rsync -avzP -e "ssh -p 22" ${SRC_DIR} ${DEST_USER}@${DEST_HOST}:${DEST__DIR} >> ${LOG_FILE} 2>&1 &
3.2.3 /data/scripts/rsync/rsync_tools.sh
该脚本是一个工具脚本用于启动、停止、查看跨机脚本
#!/bin/bash
LOG_DIR="/data/scripts/logs/"
LOG_FILE="${LOG_DIR}rsync_tools_`date +%F`.log"
# 若日志目录不存在则新建
test -d ${LOG_DIR} || mkdir -p ${LOG_DIR}case "$1" instart)/data/scripts/rsync/push_rsync_mysql.sh && echo "start push_rsync_mysql.sh" | tee -a $LOG_FILEecho "STARTING rsync_tool...";; stop)#killall rsync && echo " kill all rsync " >> $LOGFILEPIDS=`ps -ef | grep -v grep | grep -v rsync_tools | grep rsync | awk '{print $2}'`for pid in $PIDSdokill -9 $pid && echo "kill $pid" >> $LOG_FILEdoneecho "STOP ALL rsync";;status)ps -ef | grep -v grep | grep rsync;;restart)$0 stop$0 start;; *)echo "Usage: $0 {start|stop|restart|status}"exit 1;;
esac
启动命令
[root@localhost rsync]# ./rsync_tools.sh start
start push_rsync_mysql.sh
STARTING rsync_tool...
[root@localhost rsync]# ./rsync_tools.sh status
root 14273 14233 0 15:47 pts/0 00:00:00 less push_rsync_devopsapp.sh
root 14443 14233 0 16:01 pts/0 00:00:00 less rsync_mysql.2024-07-22.log
root 14504 1 99 16:04 pts/1 00:00:05 rsync -avzP -e ssh -p 22 /data/backup/devopsapp/mysqldata/ root@10.3.170.73:/data/backup/76server/mysqldata
root 14507 14504 20 16:04 pts/1 00:00:01 ssh -p 22 -l root 10.3.170.73 rsync --server -vlogDtprze.iLsfxC --partial . /data/backup/76server/mysqldata
root 14508 14288 0 16:04 pts/1 00:00:00 /bin/bash ./rsync_tools.sh status
3.2.4 /data/scripts/delete/delete_mysql.sh
该脚本用于删除本机历史备份
该脚本详细介绍 请看基于unlink 和黑白名单实现删除脚本（日志清理、历史备份清理）
#!/bin/bash# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"# 备份文件目录，待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"# 存放待删除文件名称，删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"#黑名单 ，以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")#白名单，只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/testdir" "/data/backup")# 文件保留天数
# 需根据实际需要修改
DAY=8# 待删除文件名称正则匹配echo -e "\n----------------- $(date +%F\ %T) Start -----------------"## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}# 查找待删除文件，并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname 'mysql*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} | grep ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}# 遍历待删文件清单 while read rows
doecho ${rows} waiting to delete >> ${DELETE_FILE_LOG}# 如果文件名是/ , 直接退出脚本# /* 通过黑白名单 过滤if [[ ${rows} == "/" ]]; thenecho ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}break;else# 黑名单判断for blackListElement in "${BLACK_LIST[@]}"doif [[ ${rows} == ${blackListElement}* ]];thenecho ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} BLACK_LIST_FLAG="YES"breakelseBLACK_LIST_FLAG="NOT"fidone #结束黑名单判断#白名单 判断for whileListElement in "${WHITE_LIST[@]}"doif [[ ${rows} == ${whileListElement}* ]];thenWHITE_LIST_FLAG="YES"breakelseWHITE_LIST_FLAG="NOT"fidone # 结束白名单循环fi # 根目录判断echo ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG} echo ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG} if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then# 执行删除操作unlink ${rows} && echo ${rows} delete success >> ${DELETE_FILE_LOG}echo ${rows} deletefidone < ${DELETE_FILE_LIST}echo -e "\n----------------- $(date +%F\ %T) END -----------------"echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}3.2.5 配置crontab 定时执行命令
本机备份
跨机备份
删除本机历史备份
[root@localhostdelete]# crontab -l
0 3 * * * /data/scripts/backup/backup_mysql.sh
0 5 * * * /data/scripts/rsync/rsync_tools.sh start
4 22 * * * /data/scripts/delete/delete_mysql.sh
3.2.6 删除跨机历史备份
在远程机上配置定时任务，执行清理脚本
该脚本一定要慎重执行！黑白名单一定要配置
#!/bin/bash# 时间格式化,如 20211216120101
DATE="`date +%Y%m%d%H%M%S`"
#DATE="`date +%Y%m%d`"# 备份app 名称
# 需根据实际需要修改
APP_NAME="devopsapp"# 文件名称过滤词,正则匹配
# 需根据实际需要修改
#FILE_NAME_MATCH_KEY_WORD="'*'"# 备份文件目录，待删除文件所在的目录
# 需根据实际需要修改
DIR_BACKUP="/data/backup/${APP_NAME}"# 存放待删除文件名称，删除操作日志
DIR_LOG="${DIR_BACKUP}/logs"# 存放删除操作日志
DELETE_FILE_LOG="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.log"#存放待删除文件清单
DELETE_FILE_LIST="${DIR_LOG}/${APP_NAME}deletefile.${DATE}.list"#黑名单 ，以黑名单开头的文件 均不能删除
BLACK_LIST=("/root" "/bin" "/dev" "/etc" "/lib" "/lib64" "/media" "/mnt" "/opt" "/proc" "/root" "/run" "/sbin" "/srv" "/sys" "/usr" "/var")#白名单，只有白名单开头的文件才能删除
# 需根据实际需要修改
WHITE_LIST=("/iflytek" "/data/backup")# 文件保留天数
# 需根据实际需要修改
DAY=8# 待删除文件名称正则匹配echo -e "\n----------------- $(date +%F\ %T) Start -----------------"## 若日志目录不存在则新建
test -d ${DIR_LOG} || mkdir -p ${DIR_LOG}echo -e "\n================= $(date +%F\ %T) Start =================" >> ${DELETE_FILE_LOG}# 查找待删除文件，并存入DELETE_FILE_LIST
# '*' 根据需要修改 正则匹配
find ${DIR_BACKUP} -type f -mtime +${DAY} -iname '*' >> ${DELETE_FILE_LIST}
#find ${DIR_BACKUP} -type f -mtime +${DAY} | grep ${FILE_NAME_MATCH_KEY_WORD} >> ${DELETE_FILE_LIST}# 遍历待删文件清单 while read rows
doecho ${rows} waiting to delete >> ${DELETE_FILE_LOG}# 如果文件名是/ , 直接退出脚本# /* 通过黑白名单 过滤if [[ ${rows} == "/" ]]; thenecho ${rows} illeagal, refuse to delete,please check you script >> ${DELETE_FILE_LOG}break;else# 黑名单判断for blackListElement in "${BLACK_LIST[@]}"doif [[ ${rows} == ${blackListElement}* ]];thenecho ${rows} in blacklist ${blackListElement},refuse to delete this file >> ${DELETE_FILE_LOG} BLACK_LIST_FLAG="YES"breakelseBLACK_LIST_FLAG="NOT"fidone #结束黑名单判断#白名单 判断for whileListElement in "${WHITE_LIST[@]}"doif [[ ${rows} == ${whileListElement}* ]];thenWHITE_LIST_FLAG="YES"breakelseWHITE_LIST_FLAG="NOT"fidone # 结束白名单循环fi # 根目录判断echo ${row} BLACK_LIST_FLAG IS ${BLACK_LIST_FLAG} >> ${DELETE_FILE_LOG} echo ${row} WHITE_LIST_FLAG IS ${WHITE_LIST_FLAG} >> ${DELETE_FILE_LOG} if [[ ${BLACK_LIST_FLAG} == "NOT" ]] && [[ ${WHITE_LIST_FLAG} == "YES" ]];then# 执行删除操作unlink ${rows} && echo ${rows} delete success >> ${DELETE_FILE_LOG}echo ${rows} deletefidone < ${DELETE_FILE_LIST}echo -e "\n----------------- $(date +%F\ %T) END -----------------"echo -e "\n================= $(date +%F\ %T) END =================" >> ${DELETE_FILE_LOG}
