阿里云NAS之间迁移实践

本文将介绍如何通过LocalFs的最佳实践来进行阿里云NAS之间数据的迁移。

概述

阿里云提供的在线迁移服务是一种存储产品数据通道，客户有时需要在阿里云NAS之间进行数据迁移。本文档详细介绍了针对这一场景的相关内容。

警告

迁移过程数据不保证数据一致性，请您务必在迁移任务完成后，校验目的端迁移数据。您在删除源数据前，未校验目的端迁移数据无误，导致数据丢失所引起的一切损失和后果均由您自行承担。

迁移流程图

迁移前准备

申请代理机器（ECS）
- 单机CPU核数不得低于4核，内存容量不得低于8GB，磁盘可用空间不得低于20GB。
- 具有基础带宽、突发带宽特性的规格实例，由于其实际带宽表现可能不稳定。保守起见，按基础带宽的1.5倍计算，即：平均带宽 = 1.5 × 基础带宽。
- ECS规格指标中的网络带宽是下行+上行带宽的总和。代理程序运行期间，会同时使用下行和上行的带宽。所以：单机迁移速度 = 平均带宽 ÷ 2。
- 如果计算单台ECS的迁移速度低于用户的期望，则可以使用多台ECS：单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度。对于NAS之间的迁移，源地址和目的地址需要各关联1个通道。
- 申请ECS时，需要确保源ECS能成功挂载源NAS，目标ECS能成功挂载目标NAS。
手动挂载NAS注意事项
- 同一个通道下，如果有多个代理实例，则每个代理对应的ECS上挂载的本地目录必须保持一致。例如，源通道下有两个代理实例，部署在两台ECS上，源NAS在第一台ECS上挂载的本地目录为/mnt/src/，那么在第二台ECS挂载的目录也必须为/mnt/src，以此类推。
- NAS的挂载命令和参数可参考NAS控制台的使用说明。

重要

在使用NAS的挂载命令和参数进行挂载后，务必确保NAS成功挂载到指定目录，并确保数据迁移期间挂载的有效性，否则可能导致数据写入本地磁盘而非NAS。如有挂载相关问题，请咨询NAS的技术支持。

迁移实施教程

阿里云NAS之间的迁移与本地文件系统（LocalFs）之间的迁移等同，详细迁移教程可参考LocalFS之间迁移教程。

重要

任务迁移的实际速度受多种因素影响，包含网络、文件系统本身的性能限制和目录结构等因素，如网络链路长度和时延、NAS服务端读写处理速度、文件是否集中在单个目录下、源目录数量及层级深度、平均文件大小等。以上步骤计算得到的ECS数量仅供参考，不保证一定能达到期望的迁移速度。

迁移示例

示例一：源NAS和目的NAS位于相同的地域和VPC

假设用户的源NAS实例所在地域为cn-beijing，挂载点的VPC网络为vpc-nas，交换机为vsw-nas，源NAS下共有200TB数据量待迁移，平均每个文件大小约为500KB。目的NAS实例所在地域同样位于cn-beijing，挂载点的VPC网络同样为vpc-nas，交换机同样为vsw-nas，文件系统数据量为0。用户期望的迁移速度为2Gbps。

需要按照以下步骤操作：

确定代理机器（ECS）的硬件配置，例如确认单机ECS规格为ecs.c7.xlarge，具有4核CPU和8GB内存，基础带宽3Gbps，突发带宽12.5Gbps。
1. 鉴于突发带宽的不确定性，为了谨慎起见，我们按照基础带宽的1.5倍来计算平均带宽，即：平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。
2. 需要注意的是，ECS指标中的网络带宽是指下行和上行之和。在代理程序运行时，需要从源NAS获取数据（下行），并将其推送至在线迁移服务后端（上行）。因此，单台ECS的迁移速度计算公式为：单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
计算每个通道所需的ECS数量：单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1台。因此，需要为源NAS和目的NAS各申请1台ECS。
在ECS控制台上，分别为源NAS和目的NAS各申请1台ecs.c7.xlarge规格的ECS。地域选择为北京，VPC网络和交换机分别选择vpc-nas和vsw-nas。假设两台ECS实例名称分别为ECS-1和ECS-2。
以管理员身份登录至ECS-1，并创建/mnt/src/目录，然后将源NAS挂载至该目录；随后以管理员身份登录至ECS-2，并创建/mnt/dest/目录，将目的NAS挂载至该目录。

重要

务必确保NAS成功挂载到指定目录，并确保数据迁移期间挂载的有效性。
在北京控制台地域，根据LocalFS之间迁移教程进行迁移。
1. 创建1个源通道。创建1个源代理，网络类型选择专线/VPN(VPC)，并关联到该源通道。将该代理部署到ECS-1上。
2. 创建1个目的通道。创建1个目的代理，网络类型选择专线/VPN(VPC)，并关联到该目的通道。将该代理部署到ECS-2上。
3. 为源NAS创建源地址时，关联到源通道，并选择源代理。待迁移目录参数填写为/mnt/src/。
4. 为目的NAS创建目的地址时，关联到目的通道，并选择目的代理。待迁移目录参数填写为/mnt/dest/。
5. 使用地址创建任务。

示例二：源NAS和目的NAS位于同一地域，但属于不同的VPC

假设用户的源NAS实例所在地域为cn-beijing，挂载点的VPC网络为vpc-nas-1，交换机为vsw-nas-1，源NAS下共有200TB数据量待迁移，平均每个文件大小约为500KB。目的NAS实例所在地域同样位于cn-beijing，挂载点的VPC网络为vpc-nas-2，交换机为vsw-nas-2，文件系统数据量为0。用户期望的迁移速度为2Gbps。

需要按照以下步骤操作：

确认代理机器（ECS）的硬件配置，例如确定单台ECS规格为ecs.c7.xlarge，包括4核CPU和8GB内存，基础带宽为3Gbps，突发带宽为12.5Gbps。
1. 鉴于突发带宽的不确定性，为了谨慎起见，我们按照基础带宽的1.5倍来计算平均带宽，即：平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。
2. 需要注意的是，ECS指标中的网络带宽是指下行和上行之和。在代理程序运行时，需要从源NAS获取数据（下行），并将其推送至在线迁移服务后端（上行）。因此，单台ECS的迁移速度计算公式为：单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
计算每个通道所需的ECS数量：单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 2Gbps ÷ 2.25Gbps = 0.9 ≈ 1台。因此，需要为源NAS和目的NAS各申请1台ECS。
在ECS控制台上，需为源NAS申请1台ecs.c7.xlarge规格的ECS，地域选择北京，VPC网络和交换机分别选择vpc-nas-1、vsw-nas-1，实例命名为ECS-1。同样地，需为目的NAS申请1台ecs.c7.xlarge规格的ECS，地域选择北京，VPC网络和交换机分别选择vpc-nas-2、vsw-nas-2，实例命名为ECS-2。
以管理员身份登录ECS-1，创建/mnt/src/目录，并将源NAS挂载到该目录；然后以管理员身份登录ECS-2，创建/mnt/dest/目录，并将目的NAS挂载到该目录。

重要

务必确保NAS成功挂载到指定目录，并确保数据迁移期间挂载的有效性。
在北京控制台地域，根据LocalFS之间迁移教程进行迁移。
1. 创建1个源通道。创建1个源代理，网络类型选择专线/VPN(VPC)，并关联到该源通道。将该代理部署到ECS-1上。
2. 创建1个目的通道。创建1个目的代理，网络类型选择专线/VPN(VPC)，并关联到该目的通道。将该代理部署到ECS-2上。
3. 为源NAS创建源地址时，关联到源通道，并选择源代理。待迁移目录参数填写为/mnt/src/。
4. 为目的NAS创建目的地址时，关联到目的通道，并选择目的代理。待迁移目录参数填写为/mnt/dest/。
5. 使用地址创建任务。

示例三：源NAS和目的NAS位于不同的地域和不同的VPC

假设用户的源NAS实例所在地域为cn-beijing，挂载点的VPC网络为vpc-nas-1，交换机为vsw-nas-1，源NAS下共有200TB数据量待迁移，平均每个文件大小约为500KB。目的NAS实例所在地域位于cn-hangzhou，挂载点的VPC网络为vpc-nas-2，交换机为vsw-nas-2，文件系统数据量为0。用户期望的迁移速度为10Gbps。

需要按照以下步骤操作：

确定代理机器（ECS）的硬件配置，例如确认单机ECS规格为ecs.c7.xlarge，具有4核CPU和8GB内存，基础带宽3Gbps，突发带宽12.5Gbps。
1. 由于突发带宽的不确定性，保守起见，平均带宽按基础带宽的1.5倍来计算，即：平均带宽 = 1.5 × 基础带宽 = 4.5Gbps。
2. 另外需要注意的是，ECS指标中的网络带宽是下行+上行之和。代理程序运行时，需要从源NAS获取数据（下行），并推送至在线迁移服务后端（上行）。因此单台ECS迁移速度为：单机迁移速度 = 平均带宽 ÷ 2 = 4.5Gbps ÷ 2 = 2.25Gbps。
计算单个通道所需的ECS数量：单个通道ECS数量 = 期望迁移速度 ÷ 单机迁移速度 = 10Gbps ÷ 2.25Gbps = 4.4 ≈ 5台。因此，需要为源NAS和目的NAS各申请5台ECS。
在ECS控制台上，为源NAS申请5台ecs.c7.xlarge规格的ECS。地域选择北京，VPC网络和交换机分别选择vpc-nas-1、vsw-nas-1。假设实例名称分别为ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5。类似地，为目的NAS申请5台ecs.c7.xlarge规格的ECS。地域选择杭州，VPC网络和交换机分别选择vpc-nas-2、vsw-nas-2。假设实例名称分别为ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5。
以管理员身份依次登录到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5，并创建/mnt/src/目录，在该目录下挂载源NAS；随后以管理员身份分别登录到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5，创建/mnt/dest/目录，并将目的NAS挂载到该目录下。

重要

务必确保NAS成功挂载到指定目录，并确保数据迁移期间挂载的有效性。
根据LocalFS之间迁移教程进行迁移。控制台地域可选择北京或杭州。以北京为例：
1. 创建1个源通道。创建5个源代理，网络类型选择专线/VPN(VPC)，并关联到该源通道。将5个代理分别部署到ECS-Src1、ECS-Src2、ECS-Src3、ECS-Src4、ECS-Src5上。
2. 创建1个目的通道。创建5个目的代理，网络类型选择公网（公网），并关联到该目的通道。将5个代理分别部署到ECS-Dst1、ECS-Dst2、ECS-Dst3、ECS-Dst4、ECS-Dst5上。
3. 为源NAS创建LocalFS地址时，关联到源通道，并选择源代理。待迁移目录参数填写为/mnt/src/。
4. 为目的NAS创建目的地址时，关联到目的通道，并选择目的代理。待迁移目录参数填写为/mnt/dest/。
5. 使用地址创建任务。

迁移常见问题

必须要以管理员身份启动代理进程
- 源数据地址关联的代理进程需要具有读取源NAS待迁移目录下所有文件和子目录的权限，否则将导致读取失败，从而导致迁移失败。
- 目的数据地址关联的代理进程应具备对目的NAS待迁移目录下所有文件和子目录的读写权限，否则可能导致读写失败，从而引发迁移失败的情况。
文件系统的目录个数（层级）较多，每个（层）目录所含文件较少，可能会导致扫描速度变慢的问题，例如：在源NAS总文件数均为100万的情况下，若这些文件分布在50万个目录下，其扫描速度将会比分布在1万个目录下要慢。
在同一个目录下平铺超过20万个文件的情况下，由于受限于代理机器的操作系统内核和NAS服务的并发性能限制，可能会导致迁移速度较慢。
单个目录的体量较大或该目录正在被修改，可能会导致目录列举操作出现卡顿或无响应，从而导致迁移任务进度停滞，解决方案见性能说明FAQ。