自动化备份全网服务器数据平台

1.项目说明

1.1概述

该项目共分为2个子项目，由环境搭建和实施备份两部分组成
该项目旨在复习巩固系统服务部署使用、shell编程等知识，旨在让学生增加知识面，提高项目实习经历，充实简历

1.2项目组织方式及时间

时间：建议一周内完成所有的项目搭建、压力测试、问题总结
方式：通过VmWare17虚拟机实现平台搭建
人数：3人小组

2.项目背景知识

2.1总体需求

某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复
要求如下：
- 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件
- 通过rsync命令推送到备份服务器上保存
- 备份服务器定时清除旧记录
- 搭建邮件告警平台

2.2备份需求

所有服务器的备份目录必须都为/backup。
要备份的系统配置文件包括但不限于：
- 定时任务服务的配置文件（/var/spool/cron/root）（适合Web和NFS服务器）。
- 开机自启动的配置文件（/etc/rc.local）（适合Web和NFS服务器）。
- 日常脚本的目录（/server/scripts）。

Web服务器要求
- Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。
- Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
- Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。
备份服务器要求
- 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
- 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。
- 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
- 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器说明	备份目录	目录说明	备注
all server	/backup	备份目录	统一服务器本地备份目录，便于管理
all server	/var/spool/cron/root	定时任务服务配置文件	系统配置文件
all server	/etc/rc.local	开机自启动配置文件	系统配置文件
all server	/server/scripts	日常脚本目录	统一服务器本地脚本目录，便于管理
Web server	/var/www/html	web服务器站点目录	mkdir -p /var/www/html
Web server	/app/logs	web服务器访问日志路径	mkdir -p /app/logs

3.Rsync概述

3.1作用：

rsync：remote sync(远程同步)，是一个在 Linux 和其他 Unix-like 系统上一个非常强大的命令行工具，用于计算机之间进行数据同步，可以当做文件复制工具，替代cp和mv命令，主页：https://rsync.samba.org/

3.2特点

同步速度快：由于使用sync算法，其只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等
无须特殊权限即可安装
优化的流程，文件传输效率高
可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接
支持匿名传输。

语法

标准结构

rsync [选项] 源目录/文件 目标目录/文件-a, --archive：归档模式，保留所有文件属性。
-v, --verbose：详细输出。
-r, --recursive：递归地同步目录。
-z, --compress：使用压缩传输数据，可以减少网络带宽。
-e, --rsh=COMMAND：指定远程 shell 程序（例如 SSH）。
--delete：删除目标中不在源中的文件。
--exclude=PATTERN：排除符合指定模式的文件或目录。

本地同步

rsync -a source destination# -a包含-r的递归功能同时可以同步修改时间、权限等元信息，常用

远程同步

# 默认使用ssh协议传输rsync  -av  source/  username@remote_host:destination # 本地内容同步到远程即推送rsync  -av  username@remote_host:source/  destination # 远程内容同步到本地即拉取

# 若两端都有rsync进程，可以使用rsync协议传输
rsync  -av  source/  192.168.122.32::module/destination      # 有2个冒号

增量备份

# 只复制变动的内容rsync  -a  --delete  --link-dest  /compare/path  /source/path  /target/path# 分析# --link-dest参数指定基准目录/compare/path# 源目录/source/path跟基准目录进行比较# 之后找出变动的文件，将其拷贝到目标目录/target/path，未变动的文件会生成硬链接。# 该命令的第一次备份时为全量备份，之后为增量备份

3.项目环境

3.1项目拓扑结构

3.2软硬件环境清单

已知3台服务器主机名分别为web01、backup、nfs01，主机信息建下表。

主机名	IP地址	硬件	软件
web01	192.168.208.200	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 nginx1.20 rsync3.1.2
nfs01	192.168.208.201	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 nfs rpcbind rsync3.1.2
backup	192.168.208.202	cpu:1颗2核内存：2GB HDD：20GB 网络：NAT	VmWare17 Centos7.9 mailx12.5 rsync3.1.2

Centos7.9的iso下载链接：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso

4.任务清单

4.1项目环境搭建

可以使用iventoy网启安装3台centos7.9服务器
按照规划，最小化部署系统，关闭防火墙，禁用SELinux，确保能够联网。

4.2服务器部署

4.2.1Web服务器搭建部署

验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送（0时是时间的一个分割点）。

4.2.2NFS服务器搭建部署

验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送（0时是时间的一个分隔点）。
配置脚本和web服务器类似，过程略。

4.2.3搭建备份服务器

rsync服务器搭建部署。
开发脚本实现校验、删除、报警。
配置实时任务每天6点实时执行。
配置告警邮件发送平台

5.实施步骤

5.1环境搭建

5.1.1web01服务器环境搭建

安装Centos7.9系统，替换yum源，连接xshell
关闭防火墙和selinux，设置主机名

[root@localhost~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# ls
[root@localhost yum.repos.d]# cd ..
[root@localhost etc]# rm -rf yum.repos.d
[root@localhost etc]#mkdir /etc/yum.repos.d
[root@localhost etc]#cd yum.repos.d/
进入之后用xftp传送一个新的Centos-7.repo
[root@localhost yum.repos.d]#vi /etc/selinux/config
在里面把这个修改成SELINUX=disabled
[root@localhost ~]# vi /etc/selinux/config
SELINUX=disabled
[root@localhost ~]# hostnamectl set-hostname web01
[root@localhost ~]# reboot

5.1.2设置静态ip

[root@web01 ~]#vi  /etc/sysconfig/network-scripts/ifcfg-ens32

[root@web01 ~]# systemctl restart network# 安装所有软件
[root@web01 ~]# yum install vim  tree tar net-tools rsync nfs-utils -y

5.1.3部署网站示例

[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
[root@web01 ~]# yum  ma
[root@web01 ~]# yum  install  nginx  -y
[root@web01 ~]# mkdir  -p  /www/sczl
[root@web01 ~]# cd  /www/sczl
# 使用xftp将web源文件上传至/www/sczl，如图：

# 修改nginx配置文件[root@web01 ~]# vim  /etc/nginx/nginx.conf     # 修改第42行之后的路径
42         root         /www/sczl;
[root@web01 ~]# systemctl start nginx 
[root@web01 ~]# systemctl enable nginx # 测试：打开windows端浏览器输入服务端IP地址

5.2nfs服务器环境搭建

安装Centos7.9系统，替换yum源，连接xshell，和web01修改不同
关闭防火墙和selinux，设置主机名

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# vi /etc/selinux/config
SELINUX=disabled
[root@localhost ~]# hostnamectl set-hostname nfs01
[root@localhost ~]# reboot

5.2.1设置静态ip

[root@nfs01 ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32
[root@nfs01 ~]# systemctl restart network[root@nfs01 ~]# yum install vim  tree tar net-tools rsync -y

5.2.2 部署共享存储，nfs01为服务端，web01为客户端

# nfs01服务端操作
[root@nfs01 ~]# yum  install  rpcbind  -y
[root@nfs01 ~]# yum  install  nfs-utils  -y
[root@nfs01 ~]# mkdir  /nfsfile
[root@nfs01 ~]# echo  "welcome to www.openlab.com" > /nfsfile/readme
[root@nfs01 ~]# chmod  -Rf  777  /nfsfile
[root@nfs01 ~]# vim  /etc/exports    # 编辑nfs配置文件，添加如下内容
/nfsfile        192.168.208.0/24(rw,sync,all_squash)[root@nfs01 ~]# systemctl start  rpcbind
[root@nfs01 ~]# systemctl enable  rpcbind
[root@nfs01 ~]# systemctl start  nfs-server
[root@nfs01 ~]# systemctl enable  nfs-server
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

# web01客户端操作：[root@web01 ~]# showmount  -e  192.168.208.201
Export list for 192.168.208.201:
/nfsfile 192.168.208.0/24
[root@web01 ~]# mkdir  /web_nfs01
[root@web01 ~]# mount -t nfs  192.168.208.201:/nfsfile  /web_nfs
[root@web01 ~]# cd  /web_nfs01
[root@web01 web_nfs01]# ls
readme
[root@web01 web_nfs01]# cd  ~
[root@web01 web_nfs01]# vim  /etc/fstab       # 永久挂载
192.168.208.201:/nfsfile   /web_nfs   nfs    defaults    0    0[root@web01 web_nfs01]# mount  -a
[root@web01 web_nfs01]# df  -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 900M     0  900M   0% /dev
tmpfs                    910M     0  910M   0% /dev/shm
tmpfs                    910M  9.4M  901M   2% /run
tmpfs                    910M     0  910M   0% /sys/fs/cgroup
/dev/sda3                 17G  1.9G   16G  12% /
/dev/sda1               1014M  144M  871M  15% /boot
tmpfs                    182M     0  182M   0% /run/user/0
192.168.208.201:/nfsfile   17G  1.6G   16G   9% /web_nfs01

5.3backup服务器环境搭建

安装Centos7.9系统，替换yum源，连接xshell，跟web01一样
关闭防火墙和selinux，设置主机名

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
[root@localhost ~]# vi /etc/selinux/config
SELINUX=disabled
[root@localhost ~]# hostnamectl set-hostname backup
[root@localhost ~]# reboot

5.3.1设置静态ip

[root@backup ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens32

[root@backup ~]# systemctl restart network[root@backup ~]# yum install vim  tree tar net-tools rsync mailx -y

5.3.2修改rsync配置文件

# 注意：配置文件中下列注释要删除 
[root@backup ~]# vim /etc/rsyncd.conf

5.3.3 根据配置文件设置

# 创建rsync账户及共享目录并修改目录属主为rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync /backup# 开机并启动服务
[root@backup ~]# systemctl enable --now rsyncd
[root@backup ~]# ps -ef | grep rsync
root        661      1  0 10:49 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root       1473   1435  0 11:22 pts/0    00:00:00 grep --color=auto rsync# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

5.4配置备份脚本

5.4.1配置web01客户端本地备份脚本

web01客户端主机需要打包备份的内容：

[root@web01 ~]#  cd  /www/sczl
[root@web01 sczl]# cd
[root@web01 ~]#  tree  /var/log/nginx
/var/log/nginx
├── access.log
└── error.log0 directories, 2 files
[root@web01 ~]# tree /www  
/www
└── sczl├── css│   ├── animate.min.css│   ├── common.min.css│   ├── font-awesome.css│   ├── fonts│   │   ├── FontAwesome.otf│   │   ├── fontawesome-webfont.eot│   │   ├── fontawesome-webfont.svg│   │   ├── fontawesome-webfont.ttf│   │   └── fontawesome-webfont.woff│   ├── style.css│   └── swiper-3.3.1.min.css├── dingban.mp4├── img│   ├── 1.jpg│   ├── aperture.png│   ├── bg11.png│   ├── bg1.png│   ├── bg22.png│   ├── bg2.jpg│   ├── bg2.png│   ├── bg33.png│   ├── bg3.jpg│   ├── bg3.png│   ├── bg44.png│   ├── bg4.jpg│   ├── bg4.png│   ├── bg55.png│   ├── bg5.jpg│   ├── bg5.png│   ├── bg6.jpg│   ├── bg7.jpg│   ├── flag.gif│   ├── logo.png│   ├── page2_1_1.jpg│   ├── page2_1_2.jpg│   ├── page2_1_3.jpg│   ├── page2_1_4.jpg│   ├── page2_1_5.jpg│   ├── page2_1bg.jpg│   ├── page2_1.png│   ├── page2_2bg.jpg│   ├── page2_2.jpg│   ├── page3left_bg.png│   ├── page3lefttop.png│   ├── page3right_1.png│   ├── page3right_2.png│   ├── page3right_3.png│   ├── page3right_4.png│   ├── page3right_bg.png│   ├── page4_1.jpg│   ├── page4_2.jpg│   ├── page4_3.jpg│   ├── page4_4.jpg│   ├── page4_5.jpg│   ├── page4_6.jpg│   ├── page4_7.jpg│   ├── page4_8.jpg│   ├── page5_right.png│   ├── page5_title.png│   ├── page6_right.png│   ├── page7_middle.png│   ├── shade.png│   ├── shubiao.png│   ├── title1.png│   ├── title2d.png│   ├── title2pbg.png│   ├── title2.png│   ├── title3.png│   └── title4.png├── index.html├── js│   ├── fullpage_js.js│   ├── jquery-1.10.1.min.js│   ├── swiper-3.3.1.jquery.min.js│   └── swiper.animate1.0.2.min.js└── temp└── index.html6 directories, 73 files
# 以及定时任务和备份脚本源文件 ：/var/spool/cron/root、/etc/rc.local、/server/scripts

5.4.2 编写备份web01服务器的脚本

[root@web01 ~]# mkdir  /backup
[root@web01 ~]# mkdir -p  /server/scripts
[root@web01 ~]# vim  /server/scripts/backup.sh

[root@web01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@web01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600

5.4.3测试

[root@web01 ~]#  bash  /server/scripts/backup.sh 
2025-04-11_Week05 192.168.208.200 start backup ......
Local backup successful, the backup files have been pushed to the backup server
[root@backup ~]# ls  /backup/192.168.208.200/
2025-04-10_Week04.flag  nginx_logs_2025-04-10_Week04_tar.gz  sys_file_bak_2025-04-10_Week04_tar.gz  www_2025-04-10_Week04_tar.gz
2025-04-11_Week05.flag  nginx_logs_2025-04-11_Week05_tar.gz  sys_file_bak_2025-04-11_Week05_tar.gz  www_2025-04-11_Week05_tar.gz

5.5配置nfs01客户端本地备份脚本

5.5.1nfs01客户端主机需要打包备份的内容：

[root@nfs01 ~]# tree  /nfsfile/
/nfsfile/
└── readme0 directories, 1 file
# 以及/var/log/message文件、mount  -l  挂载信息

5.5.2编写备份nfs01服务器的脚本

[root@nfs01 ~]# mkdir  /backup
[root@nfs01 ~]# mkdir -p  /server/scripts

[root@nfs01 ~]# vim  /server/scripts/backup.sh

[root@nfs01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@nfs01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600
[root@nfs01 ~]# ls -ld  /etc/rsync.password 
-rw-r--r-- 1 root root 9 Apr 10 09:13 /etc/rsync.password

5.5.3测试

[root@nfs01 ~]# bash  /server/scripts/backup.sh 
2025-04-11_Week05 192.168.208.201 start backup ......
Local backup successful, the backup files have been pushed to the backup server
# 在backup服务器中可以看到推送的数据
[root@backup ~]# ls  /backup/
192.168.208.200  192.168.208.201

5.6配置定时任务

5.6.1web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

[root@web01 ~]# systemctl status  crond
● crond.service - Command SchedulerLoaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)Active: active (running) since Fri 2025-04-11 10:49:27 EDT; 47min agoMain PID: 704 (crond)CGroup: /system.slice/crond.service└─704 /usr/sbin/crond -nApr 11 10:49:27 web01 systemd[1]: Started Command Scheduler.
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (RANDOM_DELAY will be scaled with factor 34% if used.)
Apr 11 10:49:27 web01 crond[704]: (CRON) INFO (running with inotify support)
# 注意若未安装可执行：
[root@web01 ~]# yum  install  crontabs

# 编辑定时任务[root@web01 ~]# crontab  -e    				# 添加:

5.7nfs01服务器过程同上
5.7.1backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh

5.7.2 backup服务器配置定时任务，实现服务端180天前数据自动删除

[root@backup ~]# crontab -e

5.8数据传输完整性验证与监控告警

5.8.1验证数据完整性

backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

[root@backup scripts]# vim send_mail.sh

5.8.2配置邮件告警

安装邮件服务

[root@backup ~]# yum  install  mailx  -y

配置qq邮箱ssl证书

[root@backup ~]# mkdir -p /root/.certs
[root@backup ~]# cd  /root/.certs[root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt
Notice: Trust flag u is set automatically if the private key is present.

配置邮件服务

[root@backup .certs]# vim  /etc/mail.rc
# 最后一行后添加以下内容：
set from=yourmail@qq.com
set smtp=smtps://smtp.qq.com:465         
set smtp-auth-user=yourmail@qq.com
set smtp-auth-password=uebrl****eodhff
set smtp-auth=login
set nss-config-dir=/root/.certs/
set ssl-verify=ignore

测试邮件服务

[root@backup ~]# echo  "testmail"  |  mail  -s  "testmail"  yourmail@qq.com[root@backup ~]# bash /server/scripts/send_mail.sh

自动化备份全网服务器数据平台

1.项目说明

1.1概述

1.2项目组织方式及时间

2.项目背景知识

2.1总体需求

2.2备份需求

3.Rsync概述

3.1作用：

3.2特点

3.项目环境

3.1项目拓扑结构

3.2软硬件环境清单

4.任务清单

4.1项目环境搭建

4.2服务器部署

4.2.1Web服务器搭建部署

4.2.2NFS服务器搭建部署

4.2.3搭建备份服务器

5.实施步骤

5.1环境搭建

5.1.1web01服务器环境搭建

5.1.2设置静态ip

5.1.3部署网站示例

5.2nfs服务器环境搭建

5.2.1设置静态ip

5.2.2 部署共享存储，nfs01为服务端，web01为客户端

5.3backup服务器环境搭建

5.3.1设置静态ip

5.3.2修改rsync配置文件

5.3.3 根据配置文件设置

5.4配置备份脚本

5.4.1配置web01客户端本地备份脚本

5.4.2 编写备份web01服务器的脚本

5.4.3测试

5.5配置nfs01客户端本地备份脚本

5.5.1nfs01客户端主机需要打包备份的内容：

5.5.2编写备份nfs01服务器的脚本

5.5.3测试

5.6配置定时任务

5.6.1web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

5.7nfs01服务器过程同上

5.7.1backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

5.7.2 backup服务器配置定时任务，实现服务端180天前数据自动删除

5.8数据传输完整性验证与监控告警

5.8.1验证数据完整性

5.8.2配置邮件告警

相关资讯

热文排行

最新新闻

推荐新闻

热搜词