1 方案概述
1.1 方案概述
FusionSphere云平台双活容灾方案可支持华为云平台管理节点物理部署和虚拟化部署两种场景的容灾。该方案在有效的降低总体成本的同时，还可有效的解决生产中心发生各种故障或灾难时所导致的业务系统宕机或数据丢失。实现了对生产中心云平台虚拟机及相关业务系统的应用级容灾保护，可极大地提高生产中心业务系统抵御重大灾难的能力。
该方案灵活地整合了华为FusionSphere的虚拟机HA功能和DRS功能，以及华为VIS6600T的虚拟化功能、镜像功能和多节点集群技术。通过华为VIS6600T的虚拟化功能整合生产中心和容灾中心的异构存储池，并采用VIS6600T的镜像技术实现生产中心和容灾中心之间数据的实时同步，同时通过华为VIS6600T的多节点集群技术实现生产中心和容灾中心VIS6600T节点的高可用性。当任何一个数据中心发生灾难时，能够自动的将虚拟机和相关业务系统切换到另外一个数据中心，完全能够满足客户对云平台业务连续性的需求。
1.2 方案优势
双活模式容灾
该方案中的生产中心和容灾中心为双活模式，即生产中心和容灾中心是对等的，不分主从，并可同时部署业务，可极大的提高资源的利用率和系统的工作效率、性能，让客户从容灾系统的投资中获得最大的价值。
- 生产中心和容灾中心部署相同的业务系统，结合网络层、主机层或应用的负载均衡技术，实现业务系统在生产中心和容灾中心之间的并行工作和负载分担。
- 生产中心和容灾中心部署不同的业务系统，并互相容灾。
自动化容灾恢复，降低管理成本
该方案支持生产中心或容灾中心的存储故障、VIS虚拟化设备故障、虚拟机异常、云平台计算节点故障的自动化容灾恢复，同时还支持生产中心或容灾中心发生重大灾难时的自动化容灾恢复。整个容灾恢复的过程均无需人工干预，有效的降低客户的管理成本。
灵活的在线扩展
该方案具备灵活的在线扩展特性，生产中心和容灾中心的存储阵列、VIS6600T集群节点以及云平台的计算节点和虚拟机均支持灵活的在线扩展。因此，在系统建设初期，客户可以自主选择系统的建设规模，优先满足当前实际业务需求，随着业务系统的发展和对容灾系统需求的增长，灵活的扩展生产系统和容灾系统的规模，以充分保护客户现有投资。
“零”数据丢失，RPO=0
该方案中生产中心和容灾中心通过VIS6600T虚拟化层的镜像功能，实现业务数据的实时同步，且业务数据的镜像对上层的云平台和业务系统是透明的，生产中心业务系统的所有写I/O都将同时写入生产中心存储池和容灾中心存储池，即生产中心和容灾中心存储池之间的数据是完全一致和同步的。因此该方案将可以拥有最小的RPO，达到数据的零丢失，即RPO＝0。
“零”至分钟级RTO
该方案的RTO指标根据不同的故障场景，具有不同的表现，RTO最小可达到0，即无缝的容灾恢复，具体如下：
- 存储阵列故障：虚拟机及应用正常运行，无任何中断，RTO＝0；
- VIS6600T故障：虚拟机及应用正常运行，无任何中断，RTO＝0；
- 云平台单计算节点故障：虚拟机及应用自动切换到另一站点，RTO为分钟级；
- 生产中心或容灾中心整体灾难：虚拟机及应用自动切换到另一站点，RTO指标取决于系统规模（如虚拟机的数量）。在中小规模场景，RTO为分钟级；
长距离的虚拟机热迁移
该方案支持在生产中心和容灾中心之间实现无缝的虚拟机热迁移，在虚拟机热迁移过程中可以保障业务系统的连续运行。有利于实现工作负载在两个数据中心之间灵活的调配，提供系统资源的利用率。
高效资源利用
华为VIS存储的虚拟化技术，可统一接管不同厂商、不同品牌的存储设备，充分利用现有存储设备资源，保护客户投资。#p#副标题#e#
2 最佳实践
2.1 网络拓扑图
基于华为VIS6600T镜像技术的FusionSphere云平台双活容灾方案，适用于生产站点和容灾中心相距较近（小于100km）的场景。
为了确保生产站点和容灾中心的数据同步不影响生产系统的性能，要求两地之间的互联网络具备较高的可靠性和足够的带宽。
图2-1 云双活容灾方案网络拓扑
组网描述：
- 生产站点的资源依据业务实际需求进行正常的规划，容灾中心按照1:1的比例配置容灾资源。
- 为了支持集群中主机在物理上拉远后仍能实现HA、热迁移等功能，管理/业务/VIS心跳平面需要提供大二层组网。
- 主机需要配置FC HBA卡，与VIS之间通过FC连接，同时VIS与存储阵列之间也通过FC连接，主机、VIS、阵列需要同时接入到双平面冗余的两台独立FC 交换机。
- VIS到第三地仲裁盘之间的仲裁平面需要租用MPLS三层VPN专网进行连接。
- 生产站点和容灾中心分别以负荷分担方式部署GSLB设备，以实现应用系统在两生产站点和容灾中心的负载均衡与容灾（可选）。
2.2 FusionSphere网络配置和要求
FusionSphere 双活站点间网络，建议符合以下要求：
- 建议生产侧和灾备侧两地距离在100公里以内，并且使用光纤连接，环回时延<=5ms；如果是交叉组网（两个站点的主机与VIS之间全部互相连接），要求环回时延<=1ms。
- FusionSphere虚拟化平台的仲裁机制只支持单网关配置，因此对于作为网关的汇聚（核心）交换机，对内需要配置成主备网关模式（配置VRRP协议），主网关优选生产站点侧。
- 业务网络指部署业务的虚拟机所使用的端口网络。由于业务系统通常隶属于不同部门和不同业务系统，建议不同的业务系统之间网络进行隔离，通常可配置不同的VLAN。整个业务平面通过跨数据中心的交换机进行部署。
2.2.1 主机配置
主机配置
- 生产侧的资源根据业务需求进行正常规划，容灾侧的资源建议与生产侧1：1配置，以保证生产侧全部故障后，容灾侧有充足的资源供虚拟机使用。
- 容灾侧的主机硬件配置和生产侧的主机硬件配置建议保持一致，保证虚拟机在容灾侧能够被顺利拉起。由于FusionSphere R3C10版本提供IMC特性以保证虚拟机在不同CPU型号下迁移或HA，但是在IMC配置模式下，集群的性能会下降，所以建议容灾侧的硬件配置与生产侧硬件配置保持一致。
- 生产侧和容灾侧主机在FusionSphere的虚拟交换机上的配置应保持一致，以保证虚拟机容灾后在容灾侧有相同的网络环境对外提供业务。
- 生产侧主机和容灾侧主机需配置在同一集群下。
- 生产侧和容灾侧采用一朵云的部署，即生产侧和容灾侧的主机属于同一VRM管理
- 生产侧和容灾侧主机需配置华为多路径软件，以提供主机读取存储的性能。
- 生产侧和容灾侧主机上多路径软件需配置FailOver=on，以保证主机和VIS节点链路中断时，其他VIS节点顺利接管业务，减少RTO时间。
主机选型
- 需关注FusionSphere服务器兼容性列表，在列表中选择支持FusionSphere的主机作为选型对象。
- 需关注用户数据中心业务规模来选择主机的数量和硬件配置。
- 需关注用户对业务连续性的要求选择存储网络为FC组网还是IP组网(推荐使用FC组网)，如果选择为FC组网，在配置物料时需要为服务器选择支持的HBA卡。
最佳实践选择高性能高密服务器E9000，配合CX121刀片，为FusionSphere提供物理资源支持，通过配置CX310提供高带宽和低时延的计算网络，通过配置CX311交换板为主机访问存储提供高速FC网络。
2.2.2 管理服务器配置和要求
- 管理节点虚拟机不支持使用虚拟化的数据存储，建议使用本地硬盘或SAN存储提供的非虚拟化的数据存储。
- 管理节点分别部署在生产侧和容灾侧的主机上，建议虚拟化部署，减少成本，并分别与生产侧和容灾侧主机绑定。
- 然后按照正常的VRM安装流程进行安装，不同的是备VRM节点需要安装在容灾站点的管理主机上。
2.2.3 虚拟机配置要求
建议虚拟机迁移配置满足以下要求：
- 生产侧主机和容灾侧主机应挂载相同数据存储，保证生产侧数据中心故障后，在容灾侧能正常被拉起。
- 生产侧主机和容灾侧主机网络配置应相同，保证虚拟机HA到容灾侧之后，使用容灾侧的业务网络对外提供业务。
- 生产侧业务虚拟机需开启HA功能。
- 生产侧虚拟机不能绑定主机USB设备等资源，并且虚拟机不能与主机绑定，否则虚拟机无法HA。
- 业务虚拟机应配置业务系统随系统启动，以避免HA之后业务发自动启动导致业务中断。
2.3 VIS集群和网络规划
2.3.1 VIS集群配置
VIS集群支持2~8节点配置，集群间各节点实现负载均衡，提高性能。对业务连续性要求高的场景，需要选择多节点集群配置，一般选择4节点和8节点集群配置，并可以通过数据中心数据存储读写性能要求大小来选择4节点或8节点集群配置，8节点的VIS集群读写性能高于4节点VIS集群。
2.3.2 VIS心跳网络
心跳模式
VIS集群之间支持内部和外部心跳模式，2节点集群选择为内部心跳模式，多节点集群选择为外部心跳模式。
心跳接入设计
- 为保证VIS集群心跳的可靠性，每台VIS节点通过2条GE线路上行分别上行至两侧接入交换机。
- 生产侧和容灾侧VIS节点之间的心跳通过二层网络互联，不需配置网关。
- 为保证心跳网络的可靠性，可将心跳网络划分为2个Vlan，每个VIS节点心跳平面上行的2根GE线缆分别接入2个Vlan。
2.3.3 内部互联线路
VIS集群中每个VIS节点通过内部互联的FC接口与集群中其他VIS节点互联以达到集群间元数据共享的目的，每个内部互联的FC的接口模式为“同口模式”。VIS集群的内部互联FC口可通过FC链路上行到光纤交换机，内部互联FC口在FC交换机上划分在同一个Zone中。
2.3.4 VIS仲裁网络
VIS仲裁网络用于接入仲裁阵列，并与两中心的VIS控制器间通过广域网可靠互联，当出现两个数据中心间互联中断等故障时，可对VIS集群进行仲裁，防止业务长时间中断。
为提高仲裁可用性，应当尽量选择第三方仲裁站点接入仲裁存储阵列，并通过用户广域网同时连接生产中心A与容灾中心B；若无第三方仲裁站点，则选择将第三方仲裁盘配置在希望优先存活的数据中心。
VIS仲裁网络的接入
与VIS心跳网络类似，每个VIS节点的两个控制器通过2*GE接入两台核心交换机的仲裁网络VLAN。生产中心、容灾中心的两个VIS仲裁网络IP应当接入不同网段，从而实现仲裁-生产、仲裁-访问路径的分离。
仲裁阵列的接入
仲裁阵列位于第三方仲裁站点，基础设施、站点接入网络应充分考虑在生产中心出现故障后仲裁站点组网的可用性。
仲裁网络的互联
仲裁流量对带宽无特殊要求，但对可靠性要求较高。仲裁网络与两个数据中心之间应采用不同路径或专线，当通往一个数据中心的链路中断时，应保证另外一个数据中心的连通性。仲裁网络不要求二层互联，与VIS节点三层路由可达即可。
2.4 数据中心间网络
2.4.1 心跳网络
心跳网络主要指VIS集群中节点间的心跳网络和FusionSphere管理节点间的心跳网络。
FusionSphere管理节点分别部署在生产侧和容灾侧的主机上，主备节点间的心跳通过大二层网络互联。并在两侧核心交换机上配置VRRP协议，保证网关的可靠性。
2.4.2 业务网络
业务虚拟机的业务网络通过数据中心间的大二层网络互联，两侧网络配置相同以保证虚拟机在生产侧和容灾侧漂移的时候，能正常对外提供业务。在生产侧的核心交换机上需要配置明细路由，保证在业务虚拟机优先通过生产侧的网络对外提供业务。
2.4.3 存储网络
存储网络可选用IP链路和FC链路，推荐使用FC链路，即主机、VIS和存储之间全部使用FC链路互联。FC链路的优点在于带宽高，时延小，组网相对简单。
SAN网络使用双交换冗余配置，在两个数据中心各部署2台光纤交换机，保证每个数据中心光纤链路的冗余。同时，建议两个数据中心的光纤交换机两两互联，保证FC复制链路的冗余。
单个FC交换机默认可使用8个FC口，需计算实际可用FC口的数量申请对应的License，以便节约成本。FC交换机级联需申请级联License，每个FC交换机都要申请License。
2.4.4 网路切换设计
云双活容灾解决方案支持两种网络切换方式，即路由切换方式和跨站点负载均衡，最佳实践在测试中选择使用路由切换方式，即在生产侧数据中心故障的时候，通过修改路由策略控制网络流向。
云双活容灾解决方案最佳实践测试中选用路由切换方式。
路由切换方式
路由切换的实现方式是，生产侧和容灾侧的汇聚（核心）交换机，配置为主备网关模式，主网关优选生产中心侧的交换机；在核心交换机上对外发布三层路由，路由策略为，生产侧核心交换机对外发布业务Vlan的精细路由，而在容灾侧核心交换机对外发布粗略路由，从而保证业务虚拟机通过生产侧网络对外提供业务。
数据中心如果使用了防火墙，需要进行NAT配置，则在防火墙上发布对外路由，否则在核心交换机上发布路由，如果没有核心交换机则在网关所在的汇聚交换机发布路由。
跨站点负载均衡
跨站点负载均衡实现方式是，在生产侧和容灾侧分别部署GSLB设备，通过GSLB设备的智能DNS域名解析功能，将业务请求分流到双活数据中心，并可根据负载调整分流比例。通过GSLB设备探测NAT地址映射后的VM和业务系统状态，当生产侧无法提供正常业务时，可自动的将客户端请求重定向到容灾侧。
GSLB设备部署
- 站点内的GSLB设备集群的方式进行部署，以实现冗余备份。
- 站点间的GSLB设备可互相交换本地服务器负载、链路负载、网络状况信息，这些状态信息主要包括链路可用性、服务可用性、集群状态等。
2.4.5 设备选型
对数据中心的接入交换机和核心交换机的型号选择，需要关注用户需求，能满足用户使用即可。最佳实践推荐使用核心交换机S9306和接入交换机S5300。
2.5 存储选型
VIS集群支持存储的异构接入，所以数据中心对存储的选型比较灵活，一般能符合FusionSphere支持的存储设备即可。在方案设计时，建议将生产侧和容灾侧存储选择为相同的存储设备以保证存储的性能。在配置存储镜像时，镜像卷的存储容量不小于源卷的存储容量。
最佳实践选择OceanStor 18500存储作为生产侧和容灾侧的存储设备。OceanStor 18500存储，具有高规格的硬件结构，采用创新的Smart Matrix智能矩阵架构、全虚拟化智能卷，结合多种资源管理技术和数据保护技术，致力为企业级数据中心提供安全可信、弹性高效的核心存储解决方案，能够满足大中型数据中心高可靠、高性能、高效率的业务需求。#p#副标题#e#
3 物料清单
3.1.1 硬件清单
表3-1 硬件清单列表
|
数据中心 |
设备名称 |
规格型号 |
数量 |
备注 |
|
生产站点 |
VIS6600T |
业务控制单元：2节点,4CPU,64GB缓存,8*GE |
1 |
必选，规格可选 |
|
数据保险单元：双控,8GB缓存,4*300G SAS盘,8*4G FC前端主机端口 |
1 |
必选 |
||
|
增值功能：2节点以上集群扩展License |
1 |
必选 |
||
|
E9000 |
1 Chassis+16*CH121 Blade Server、2*CPU 8 core、8*8GB DDR3、2*600GB SAS |
1 |
必选 |
|
|
OceanStor 18500 |
单台阵列容量24*600GB、SAS硬盘 |
1 |
必选，生产侧和容灾侧存储的厂商和型号可以不一致 |
|
|
SNS2124 |
单台配置24*8Gbps接口 |
2 |
必选 每个交换机需配置级联License |
|
|
S5352 |
48*1GE接口，2*10GE接口 |
1 |
必选 |
|
|
S9306 |
3块12*10GE接口板 |
1 |
必选，可选择其他型号核心交换机 |
|
|
波分设备 |
1 |
可选 |
||
|
容灾中心 |
VIS6600T |
业务控制单元：2节点，4CPU,64GB缓存,8*GE |
1 |
必选，规格可选 |
|
数据保险单元：双控,8GB缓存,4*300G SAS盘,8*4G FC前端主机端口 |
1 |
必选 |
||
|
增值功能：2节点以上集群扩展License |
1 |
必选 |
||
|
E9000 |
1 Chassis+16*CH121 Blade Server、2*CPU 8 core、8*8GB DDR3、2*600GB SAS |
1 |
必选，服务器型号和CPU的型号可选，需保证与生产侧服务器CPU型号一致。 |
|
|
OceanStor 18500 |
单台阵列容量24*600GB、SAS硬盘 |
1 |
必选，存储型号与生产侧存储型号可以不一致 |
|
|
SNS2124 |
单台配置24*8Gbps接口 |
2 |
必选 每个交换机需配置级联License |
|
|
S5352 |
48*1GE接口，2*10GE接口 |
1 |
必选 |
|
|
S9306 |
2块12*10GE接口板 |
1 |
必选，可选择其他型号核心交换机 数量根据数据中心业务需求来定 |
|
|
波分设备 |
1 |
可选 |
||
|
核心路由器 |
NE-40E |
48-port GE接口板。 |
2 |
可选 |
|
8*12-port 10GE接口板。 |
2 |
可选 |
3.1.2 软件清单
表3-2 软件清单
|
软件名称 |
软件版本 |
备注 |
|
FusionCompute |
V100R003C10SPC500 |
|
|
FusionManager |
V100R003C10SPC500 |
|
|
光纤交换机版本 |
Kernel: 2.4.19 Fabric OS: v5.1.0b |
|
|
S9306 |
V200R001C00SPC300 |
核心交换机 |
|
VIS6600T |
V200R003C00 |
|
|
S5300 |
V100R005C01SPC100 |
接入交换机 |
|
S5500T |
V100R002C00 |
容灾侧存储 |
|
OceanStor 18500 |
V100R001C00 |
生产侧存储 |
#p#副标题#e#4 配置实例
4.1 VIS6600T配置实例
本章节将介绍VIS6600T在最佳实践中的规划和配置。本张将以4节点VIS集群为例进行配置节点。
4.1.1 管理网口
管理网口规划
单台VIS6600T设备一般会配置2台控制器，即2个节点。多台VIS6600T可以组成VIS集群对外提供服务，一般的组合方式为2节点集群，4节点集群，6节点集群和8节点集群。对集群中的每个VIS节点均需要规划一个IP地址，集群中VIS各节点需要互通。对于云双活容灾解决方案中，VIS集群的管理节点所在网络与FusionSphere的管理平面一般规划到相同的网络中。
表4-1 VIS 4节点集群管理网口规划
|
VIS节点 |
VIS节点IP地址 |
|
0 |
23.61.101.11 |
|
1 |
23.61.101.12 |
|
2 |
23.61.101.13 |
|
3 |
23.61.101.14 |
管理网口初始配置
VIS6600T初始配置时，可以通过串口登陆VIS节点上，串口登陆配置。
表4-2 VIS6600T串口登陆节点参数
|
参数 |
参数值 |
|
波特率 |
115200 |
|
数据为 |
8 |
|
奇偶校验位 |
无 |
|
停止位 |
无 |
|
数据流控制 |
无 |
配置管理网口地址指令如下：
#admin:/>chgctrlip -c 0 -ip 23.61.101.11 -mask 255.255.0.0 –gw 23.61.101.252
CAUTION: You are going to change the network addresses of management network port.
This operation will cause that the connection between the storage system management interface and the storage device is interrupted for a few minutes.
Suggestion: Before you perform this operation， ensure that the entered network addresses are reachable， and after the modification， wait a few minutes before operating the storage system management interface.
Are you sure to continue?(y/n)
y
command operates successfully.
对于同一台VIS6600T设备的其他节点的管理口的网络配置，可以通过管理软件ISM来设置。
4.1.2 心跳网口
VIS集群中节点间需要配置心跳网络，用于连接各VIS6600T集群的节点间通信。在云双活容灾解决方案最佳实践中，将使用VIS节点的GE网口作为心跳网口。
表4-3 VIS 4节点集群心跳网口
|
VIS节点 |
心跳网口 |
VLAN |
VIS节点 |
心跳网口 |
VLAN |
|
0 |
VIS01-A5-P1 |
802 |
0 |
VIS01-A5-P3 |
804 |
|
1 |
VIS01-B5-P1 |
802 |
1 |
VIS01-B5-P3 |
804 |
|
2 |
VIS02-A5-P1 |
802 |
2 |
VIS02-A5-P3 |
804 |
|
3 |
VIS02-B5-P1 |
802 |
3 |
VIS02-B5-P3 |
804 |
VIS6600T后面板上的GE板卡，P1口和P3口用于心跳，P0和P2网口用于业务
4.1.3 FC内部互联
FC内部互连端口用于集群间元数据共享，元数据中主要记录逻辑盘组和卷的配置信息。
图4-1 四节点集群FC内部互连线缆连接部署图
表4-4 四节点集群FC内部互连FC口规划
|
VIS节点 |
内部互联 |
ZoneName |
VIS节点 |
内部互联 |
ZoneName |
|
0 |
VIS01-A1-P0 |
Zone1 |
0 |
VIS01-A1-P1 |
Zone2 |
|
1 |
VIS01-B1-P0 |
Zone1 |
1 |
VIS01-B1-P1 |
Zone2 |
|
2 |
VIS02-A1-P0 |
Zone1 |
2 |
VIS02-A1-P1 |
Zone2 |
|
3 |
VIS02-B1-P0 |
Zone1 |
3 |
VIS02-B1-P1 |
Zone2 |
VIS6600T中用于FC内部互联的FC口，工作模式需要配置成“同口模式”
4.1.4 VIS6600T业务连线
VIS6600T在云双活容灾解决方案中的位置出于业务主机和存储阵列之间，VIS6600T用于业务的FC口有2种模式，即启动器和目标器。
表4-5 VIS6600T业务网口工作模式
|
VIS节点 |
业务FC口 |
工作模式 |
对端设备 |
工作模式 |
|
0 |
VIS01-A2-P0 |
目标器 |
主机FC口 |
启动器 |
|
0 |
VIS01-A2-P1 |
目标器 |
主机FC口 |
启动器 |
|
0 |
VIS01-A2-P2 |
启动器 |
存储阵列FC口-A控 |
目标器 |
|
0 |
VIS01-A2-P3 |
启动器 |
存储阵列FC口-B控 |
目标器 |
表4-5描述的为VIS集群中0号节点业务FC口的工作模式，对于4节点的VIS集群，其他节点的业务FC口的配置也如上表所示。在实际业务部署过程中，需要根据业务场景计算存储带宽，并需要考虑物理组网的可靠性，对FC接口模块的数量和类型进行规划。
4.1.5 VIS6600T镜像配置
在完成存储阵列和VIS6600T的物理链路连接和SAN存储上的基本配置(启动器和目标器已完成配对)，则可以对与VIS连接的存储进行镜像配置，配置流程如下图所示。
图4-2 VIS6600T镜像配置流程
镜像配置
镜像通过生产数据的副本提供数据冗余。每个副本（或镜像）都存储在与此卷不同的逻辑盘上。对一个卷创建镜像后，可确保在组成镜像的任意逻辑盘发生故障时，其数据不会丢失，提高了数据的完整性和可靠性。
源卷
用于创建镜像的卷被称为源卷。
镜像逻辑盘
用于与源卷创建镜像关系，与源卷保存同样的数据，容量必须大于等于源卷，单位为Sector。推荐源卷与镜像逻辑盘分别来源于不同的阵列，且源卷与镜像逻辑盘的RAID级别相同。
DCO（Data Change Object）盘/DCO镜像盘
DCO盘和DCO镜像盘用于创建DCO。DCO用于管理快速重同步的映射信息，与某个卷关联，则可以对该卷使用快速重同步功能。例如：互为镜像关系的源卷和镜像逻辑盘，当源卷故障时，则从源卷故障时刻开始，与卷关联的DCO会通过位图的方式记录镜像逻辑盘的修改数据。当源卷修复后，源卷可以根据DCO记录的差异信息同步镜像逻辑盘中修改的数据，这样可以达到快速重同步的效果。
镜像的读策略
轮循模式：非连续空间的I/O，以轮流循环方式将读访问请求下发到不同的存储空间，实现存储空间的并发响应，提升系统性能。
优先模式：即主备模式，所有的读访问I/O请求都默认下发给优先的存储空间响应，当优先空间故障时才下发给备选存储空间，优先空间的故障修复后自动切换回优先空间。
存储镜像配置需要配置业务LUN的规划，DCO盘的规划，详细规划如下表所示。
表4-6 镜像配置规划
|
参数 |
参数值 |
说明 |
|
逻辑盘组名称 |
Application001 |
名称可自定义 |
|
卷名称 |
volume001 |
名称可自定义 |
|
DCO容量 |
2GB |
VIS6600T产品推荐值 |
|
DCO盘数量 |
2 注：每个逻辑盘组建议配置2个DCO盘 |
DCO盘和DCO镜像盘，分别与源卷和镜像卷在同一个阵列上。 |
|
镜像的读策略 |
优先模式 |
默认生产侧存储卷为读优先 |
|
源卷 |
根据实际业务大小来定 |
|
|
镜像逻辑盘 |
镜像逻辑盘 > 源卷大小 |
镜像卷和源卷在存储阵列上划分的Raid类型保持一致。 |
4.1.6 VIS6600T资源映射
主机组和主机创建
通过创建和管理主机，存储系统能够将存储资源分配给主机使用。为了方便管理多台主机，通过创建主机组来逻辑管理，也正好适配FusionCompute集群管理方式。
在创建主机时，建议使用CNA主机名或者IP主机名，以便管理。
在创建主机时，将“OS”选项选为“Linux”。
配置启动器，启动器类型为两类，“ISCSI”和“FC”。
在创建主机完成后，将主机加入主机组 。
创建主机组时，建议对应FusionCompute集群来创建，且主机组名选用集群名，以便管理。
卷映射
对于已经完成镜像配置的卷可以通过映射给主机组和主机的方式，并通过主机的启动器映射，最终交付给主机使用。
启动器映射
VIS6600T通过光纤交换机与主机互通之后，物理主机侧为启动器，VIS侧为目标器，在VIS6600T的配置界面可以通过映射主机的启动器到目标主机和主机组完成物理主机关联卷的操作。
4.2 SAN存储配置实例
4.2.1 Oceanstor 18500存储配置
配置流程
华为OceanStor 18000系列存储的配置流程如图3-1：
图4-3 资源分配流程图
配置硬盘域
硬盘域(即Disk Domain)是一堆硬盘的组合（可以是整个系统所有硬盘），这些硬盘整合并预留热备容量后统一向存储池提供存储资源。
华为OceanStor 18000系列高端存储系统可以配置一个或多个硬盘域
一个硬盘域上可以创建多个存储池（Storage Pool）
一个硬盘域的硬盘可以选择SSD、SAS、NL-SAS中的一种或者多种（大于一种硬盘可支持SmartTier特性）
不同硬盘域之间是完全隔离的，包括故障域、性能和存储资源等
配置存储池
存储池（即Storage Pool），是存放存储空间资源的容器，所有应用服务器使用的存储空间都来自于存储池。一个存储池基于指定的一个硬盘域创建，可以从该硬盘域上动态的分配资源，并按照每个存储层级的“RAID策略”组成向应用提供具有RAID保护的存储资源。
存储层级（即Tier），存储池中性能类似的存储介质集合，用于管理不同性能的存储介质，以便为不同性能要求的应用提供不同存储空间。存储池根据硬盘类型可划分为多个Tier。
创建存储池可以指定该存储池从硬盘域上划分的存储层级（Tier）类型以及该类型的“RAID策略”和“容量”。
华为OceanStor 18000系列高端存储支持RAID5、RAID6和RAID10。
容量层由大容量的NL-SAS盘组成，RAID策略建议使用双重校验方式的RAID6。
配置LUN
云双活容灾方案中，需要规划业务LUN和DCOLUN，规划如下表所示。
表4-7 OceanStor18500 LUN规划
|
LUN类型 |
容量 |
说明 |
|
|
业务LUN |
ThickLUN |
1TB |
根据实际需要配置容量 |
|
DCO LUN |
ThickLUN |
2GB |
配置主机和主机组
在云双活容灾解决方案中，SAN存储作为目标器通过FC链路与VIS6600T进行互联。在进行主机组和主机配置时，需要将已规划好的LUN映射给指定的主机组。
在创建主机时，将“OS”选项选为“Linux”。
配置启动器，启动器类型为“FC”。
在创建主机完成后，将主机加入主机组。
4.3 E9000配置实例
4.3.1 E9000数据规划
E9000机框规划
表4-8 机框IP规划
|
机框管理模块 |
管理IP地址 |
掩码 |
网关 |
|
主用MM模块 |
23.60.231.31 |
255.255.255.0 |
23.60.231.1 |
|
备用MM模块 |
23.60.231.32 |
255.255.255.0 |
|
|
MM模块浮动地址 |
23.60.231.30 |
255.255.255.0 |
CH121刀片服务器配置
表4-9 刀片BMC规划
|
机框管理模块 |
管理IP地址 |
掩码 |
网关 |
|
刀片BMC |
23.60.231.X |
255.255.255.0 |
23.60.231.1 |
表4-10 E9000板卡卡位
|
E9000交换板板位 |
交换板类型 |
|
1E |
CX310 |
|
2X |
CX311 |
|
3X |
CX311 |
|
4E |
CX310 |
E9000上的刀片服务器CH121通过2个MZ510网卡扣板分别与CX310和CX311交换板关联，在主机上分配的网口如下表所示。以3，4号刀片为例，列举刀片服务器网口信息。
表4-11 主机网口信息
|
刀片序号 |
Eth0 |
Eth1 |
FC HBA1 |
FC HBA2 |
|
slot3 |
10GE1/3/1 |
10GE4/3/1 |
10GE2/3/1(FCoE) |
10GE3/3/1(FCoE) |
|
slot4 |
10GE1/4/1 |
10GE4/4/1 |
10GE2/4/1(FCoE) |
10GE3/4/1(FCoE) |
CX310交换板网口配置
生产侧E9000上交换板CX310的配置分为内部网口配置和外部网口配置，内部网口配置主要涉及到E9000刀片交换机的网卡配置；外部网口配置涉及到E9000上行网络到接入交换机的相关配置。以E9000上的3，4号刀片为例进行配置。
表4-12 CX310内部网口配置
|
交换板序号 |
网口 |
配置 |
网口 |
配置 |
|
1E |
10GE1/3/1 |
description to CNA02_E9K_SLOT03 port link-type hybrid port hybrid pvid vlan 801 port hybrid tagged vlan 802 to 830 undo port hybrid vlan 1 port hybrid untagged vlan 801 |
10GE4/3/1 |
description to CNA02_E9K_SLOT03 port link-type hybrid port hybrid pvid vlan 801 port hybrid tagged vlan 802 to 830 undo port hybrid vlan 1 port hybrid untagged vlan 801 |
|
4E |
10GE1/4/1 |
description to CNA02_E9K_SLOT04 port link-type hybrid port hybrid pvid vlan 801 port hybrid tagged vlan 802 to 830 undo port hybrid vlan 1 port hybrid untagged vlan 801 |
10GE4/4/1 |
description to CNA02_E9K_SLOT04 port link-type hybrid port hybrid pvid vlan 801 port hybrid tagged vlan 802 to 830 undo port hybrid vlan 1 port hybrid untagged vlan 801 |
为保证接入交换机的可靠性，接入交换机需要配置为堆叠模式，E9000的2个业务网络的交换板1E和4E分别通过2根10GE光纤上行到2个接入交换机上。同时，这两个交换板需要内部配置成堆叠模式，用于堆叠的网口为CX310的内部40GE网口。
表4-13 CX310外部接口配置
|
交换板序号 |
网口 |
配置 |
接口 |
配置 |
|
1E |
10GE1/17/15 |
Eth-trunk2 |
Eth-trunk2 |
port link-type hybrid port hybrid tagged vlan 801 to 830 undo port hybrid vlan 1 |
|
10GE1/17/16 |
Eth-trunk2 |
|||
|
4E |
10GE4/17/15 |
Eth-trunk2 |
port link-type hybrid port hybrid tagged vlan 801 to 830 undo port hybrid vlan 1 |
|
|
10GE4/17/16 |
Eth-trunk2 |
堆叠配置如下所示。
1E上的CX310堆叠配置
<CX310_1E> system-view
[~CX310_1E]stack
[~CX310_1E -stack]stack domain 1
[~CX310_1E -stack]stack priority 150
[~CX310_1E -stack]port mode stack interface 40GE2/18/1
[~CX310_1E -stack]commit
[~CX310_1E -stack]quit
[~CX310_1E]interface stack–port 1/1
[~CX310_1E-Stack-Port1/1]port member-group interface 40GE2/18/1
[~CX310_1E-Stack-Port1/1]commit
4E上的CX310堆叠配置
<CX310_4E> system-view
[~CX310_4E]stack
[~CX310_4E -stack]stack domain 1
[~CX310_4E -stack]port mode stack interface 40GE2/18/1
[~CX310_4E -stack]commit
[~CX310_4E -stack]quit
[~CX310_4E]interface stack–port 4/1
[~CX310_4E-Stack-Port2/1]port member-group interface 40GE4/18/1
[~CX310_4E-Stack-Port2/1]commit
以上配置完成后，需执行save指令保存配置，并通过reboot命令重启交换模块使堆叠配置生效。
CX311交换板配置
CX311交换板管理网口配置
表4-14 CX311管理网口规划
|
CX311交换板 |
融合交换板 |
FCoE交换板 |
掩码 |
网关 |
|
2X |
23.60.231.142 |
23.60.231.242 |
255.255.255.0 |
23.60.231.1 |
|
3X |
23.60.231.143 |
23.60.231.243 |
255.255.255.0 |
23.60.231.1 |
表4-15 CX311交换板串口参数
|
Speed |
Data bits |
Stop bits |
Parity |
Flow Control |
|
|
融合交换板 |
115200 |
8 |
1 |
None |
None |
|
FCoE交换板 |
9600 |
8 |
1 |
None |
None |
串口连接CX311交换板上的有BMC标示的串口上，执行指令配置交换板的管理地址，融合交换板的地址与E9000的MM模块的管理地址在同一个网段。配置如下：
#interface MEth0/0/0
ip address 23.60.231.141 255.255.255.0
E9000刀片通过MZ510连接2X和3X交换板，其中通过MZ510连接FC网络，使得E9000刀片服务器通过FC交换机连接VIS节点。
在MX510连接交换机时，需注意以下几点。
每个MX510连接一个FC交换机，不建议同时连接2个FC交换机
MX510工作模式
表4-16 MX510建议工作模式
|
连接设备类型 |
厂家型号 |
MX510建议工作模式 |
|
存储 |
无限制 |
Full fabric |
|
FC交换机 |
MDS系列： MDS9100/MDS9500 Nexus系列： Nexus 5000/Nexus7000 |
Transparent |
|
Qlogic 3000/QLogic 5000/QLogic 9000 |
Full fabric |
|
|
FC交换机： Brocade 300/Brocade 5000/Brocade 7500 FCOE交换机： Brocade 8000/Brocade 6700 |
Transparent |
MX510链路负荷分担
工作在Transparent模式
1）通过随机分配FC端口给HBA/CAN进行注册，实现流量负荷分担，一旦链路故障，HBA/CNA重新注册，MX510重新分配端口给HBA/CNA；
2）修改MX510的TH_Port（HBA/CNA侧端口）与TF_Port（交换机侧端口）的映射关系，例如，左半框主用选择第一个端口，右半框主用选择第二个端口，互为主备。
工作在full fabric模式
通过E_Port协议协商，与外部FC交换机选出主从端口（信令），业务流量在各个端口负荷分担。
4.4 交换机配置实例
4.4.1 测试组网
图4-4 测试组网
组网说明：
FusionSphere中组网按照三个物理平面部署，即管理平面，业务平面和存储平面，其中存储平面为FC链路组网。
存储设备、VIS节点、FC交换机的管理平面通过接入交换机上行至核心交换机。
E9000管理平面和业务平面通过交换板CX311上行至核心交换机。
4.4.2 网络配置
网络规划
表4-17 网络规划
|
网络平面 |
备注 |
|
管理平面 |
FusionSphere管理平面、用于交换机、存储、VIS设备等物理设备的管理的网络 |
|
业务平面 |
业务虚拟机对外提供业务的网络 |
|
存储网络 |
在FC网络中，主要在于FC交换上网口连接和Zone的规划 |
根据上表对FusionSphere系统管理平面和业务平面网络进行规划，并在生产侧和容灾侧的接入和核心交换机上做配置。
在生产侧核心交换机上配置明细路由，保障虚拟机对外提供业务时通过生产侧的主干网络。
在生产侧核心交换机上做以下配置。
#ip route-static 23.61.108.0 255.255.255.128 23.61.103.1
#ip route-static 23.61.108.128 255.255.255.128 23.61.103.1
在容灾侧核心交换上需要发布粗略路由。
#ip route-static 23.61.108.0 255.255.255.0 23.61.103.1
4.5 光纤交换机配置实例
4.5.1 光纤交换机基本信息
DOMAIN ID
Domain ID是交换机光纤通道唯一的标识，主要是为了区分不同的交换机的。因此在简单组网且没有交换机级联的情况下是可以不用修改Domain ID 的，而在有级联的场景中要保持每个交换机的Domain ID不同，避免网络中ID冲突，严重者影响交换机接入。
License
光纤交换机默认授权8个端口，在规划时，光纤交换机超过8个光口时需申请License。当多个光纤交换机的级联时，需申请级联License。
Zone
Zone是FC-SAN特有的一种概念，目的用来配置同一个交换机上面不同设备之间的访问权限。同在一个zone里面的设备可以互相访问，Zone可以根据交换机端口ID（Domain ， Port ID）或者设备WWN来划分。
光纤交换机通常把多个zone纳入一个zone set管理，每个交换机可以保留多个zone set配置，一次有且只有一个zone set配置能够被激活。
Zone划分原则：在划分LUN的时候， 每个Zone中只有一个主机端口。
4.5.2 配置指令
查询管理IP
使用指令ipaddrshow查看当前光纤交换机的IP配置。
HP_1:admin> ipaddrshow
SWITCH
Ethernet IP Address: 23.61.101.9
Ethernet Subnetmask: 255.255.255.0
Fibre Channel IP Address: 0.0.0.0
Fibre Channel Subnetmask: 0.0.0.0
Gateway Address: 23.61.101.252
设置管理IP地址
使用指令ipaddrset配置当前光纤交换机的IP地址
HP_1:admin> ipaddrset
Ethernet IP Address [10.77.77.77]: 23.61.101.9
Ethernet Subnetmask [0.0.0.0]: 255.255.255.0
Fibre Channel IP Address [none]:
Fibre Channel Subnetmask [none]:
Gateway Address [172.17.1.1]: 23.61.101.252
Set IP address now? [y = set now, n = next reboot]: y
查看当前光纤交换机配置
使用指令switchshow指令查看当前光纤交换机配置，主要关注光纤交换机名称、Domainid、ZoneSet。
HP_1:admin> switchshow
switchName: HP_1
switchType: 34.0
switchState: Online
switchMode: Native
switchRole: Principal
switchDomain: 5
switchId: fffc05
switchWwn: 10:00:00:05:1e:06:f4:17
zoning: ON (DC2)
switchBeacon: OFF
Area Port Media Speed State
==============================
0 0 id N4 Online F-Port 20:19:d8:49:0b:87:71:65
1 1 id N4 Online F-Port 20:08:d8:49:0b:87:71:65
2 2 id N4 Online F-Port 10:00:00:05:1e:fc:16:51
3 3 id N4 Online L-Port 1 public
4 4 id N4 Online F-Port 20:18:d8:49:0b:87:71:64
5 5 id N4 Online F-Port 20:08:d8:49:0b:87:71:64
6 6 id N2 Online F-Port 10:00:00:05:1e:fc:16:36
7 7 id N4 Online L-Port 1 public
8 8 id N4 Online F-Port 22:10:d8:49:0b:87:71:65
9 9 id N4 Online F-Port 22:00:d8:49:0b:87:71:65
10 10 id N4 Online F-Port 22:12:d8:49:0b:87:71:65
11 11 id N4 Online F-Port 22:13:d8:49:0b:87:71:65
12 12 id N4 Online F-Port 10:00:00:05:1e:fc:16:51
13 13 id N4 Online F-Port 22:02:d8:49:0b:87:71:65
14 14 id N4 Online F-Port 22:03:d8:49:0b:87:71:65
15 15 id N4 Online E-Port 10:00:00:05:1e:06:f5:78 "HP_2" (downstream)
创建Zone
使用指令ZoneCreate创建zone。
HP_1:admin> zoneCreate " vis01_ctrl_a","5,10;5,13 "
HP_1:admin> zoneshow vis01_ctrl_a
zone: vis01_ctrl_a
5,10; 5,13
将端口加入Zone
使用指令Zoneadd将交换机上的端口加入到Zone中。
HP_1:admin> zoneadd " vis01_ctrl_a","5,3;6,13 "
HP_1:admin> zoneshow vis01_ctrl_a
zone: vis01_ctrl_a
5,10; 5,13; 5,3; 6,3
创建configuration
使用指令cfgCreate创建configuation。
HP_1:admin> cfgCreate " DC2"," DC2 VIS_INTER_02"
HP_1:admin> HP_1:admin> cfgshow DC2
cfg: DC2 VIS_INTER_02; VIS_INTER_01; RH588501_18500; RH588502_18500;
vis01_ctrl_a; vis01_ctrl_b; vis02_ctrl_a; vis02_ctrl_b;
e9000_vis01; e9000_vis02; vis_18500_b; vis_18500_a;
激活configuration
使用cfgenable 激活configuration。
HP_1:admin> cfgenable " DC2"
4.5.3 配置规划
光纤交换机规划
表4-18 光纤交换机管理规划
|
光纤交换机名称 |
管理IP |
DomainID |
登录用户名 |
登录密码 |
|
HP_1 |
23.61.101.9/24 |
5 |
admin |
password |
表4-19 光纤交换机Configuration规划
|
Configuration 名称 |
Zonelist |
|
DC2 |
VIS_INTER_02; VIS_INTER_01; RH588501_18500; RH588502_18500; vis01_ctrl_a; vis01_ctrl_b; vis02_ctrl_a; vis02_ctrl_b; e9000_vis01; e9000_vis02; vis_18500_b; vis_18500_a; |
表4-20 光纤交换机Zone规划
|
Zone名称 |
端口列表 |
|
VIS_INTER_02 |
6,0; 6,1; 6,4; 6,5 |
|
VIS_INTER_01 |
5,0; 5,1; 5,4; 5,5 |
|
RH588501_18500 |
5,8; 5,9; 5,12 |
|
RH588502_18500 |
6,8; 6,9; 6,12 |
|
vis01_ctrl_a |
5,10; 5,13; 5,3; 6,3 |
|
vis01_ctrl_b |
5,11; 5,14; 5,7; 6,7 |
|
vis02_ctrl_a |
6,10; 6,13; 6,3; 5,3 |
|
vis02_ctrl_b |
6,11; 6,14; 6,7; 5,7 |
|
e9000_vis01 |
5,2; 5,6; 5,8; 5,9; 6,8; 6,9 |
|
e9000_vis02 |
6,2; 6,6; 5,8; 5,9; 6,8; 6,9 |
|
vis_18500_a |
5,12; 5,10; 5,13; 6,12 |
|
vis_18500_b |
6,10; 6,13; 6,12; 5,12 |
#p#副标题#e#5 容灾场景
云双活容灾方案支持数据中心的故障场景如下所示。本章节将根据以下故障场景分别描述业务数据流向以及在故障出现后，虚拟机/业务切换以及配置变更，和相关注意事项。
生产侧数据中心主机故障
生产侧数据中心VIS节点故障
生产侧数据中心存储节点故障
生产侧和容灾侧数据中心间的互联网路故障
5.1 正常生产场景
5.1.1 场景描述
在正常运行的场景下，数据流如下图所示。
图5-1 正常场景下数据流图
数据流描述：
生产侧的存储中的数据卷为源卷，容灾侧的存储中的数据卷为镜像卷。配置生产侧数据卷为读优先。
虚拟机对存储的写操作通过生产侧的VIS节点分别写入到存储的源卷和镜像卷，生产侧和容灾侧组成的数据卷归属的VIS节点为生产站点的VIS节点。
生产侧数据中心的虚拟机对存储的读操作优先从生产侧的存储读取
虚拟机的业务流通过在生产侧配置的明细路由，优先从生产侧的主干网络通道到达客户机。
5.2 生产侧主机故障场景
5.2.1 容灾切换
生产侧主机故障时，通过配置FusionSphere上的DRS规则优先保证虚拟机在本数据中心HA，在本数据中心预留资源不足的情况下，业务虚拟机将HA到容灾侧数据中心。
在生产侧主机故障的场景下，RTO为分钟级，RPO为0，中断时间为虚拟机HA时的中断时间。
图5-2 生产侧主机全部故障场景
数据流描述：
生产侧主机全部故障之后，虚拟机HA到容灾侧数据中心。
生产侧数据卷为读优先，业务虚拟机读取存储时优先从生产侧的存储读取，读取期间数据流跨越数据中心，如果2个数据中心距离很远(<100KM)将带来网络延迟。
虚拟机对存储的写操作通过生产侧的VIS节点分别写入到存储的源卷和镜像卷。
虚拟机的业务流通过在生产侧配置的明细路由，优先从生产侧的主干网络通道到达客户机，但是业务流在传输过程中跨越数据中心。
5.2.2 容灾后配置
通过5.2.1 中的描述，为减少在链路上的损耗，在管理员发觉数据中心生产侧的主机全部故障时，需要通过以下操作，降低生产侧主机故障带来链路损失。
在生产侧的核心交换机上删除明细路由，使业务流通过容灾侧主干网络到达客户机。
在VIS管理界面上，修改镜像卷的归属节点为容灾侧VIS节点。
在VIS管理界面上，修改容灾侧存储的数据卷为读优先。
5.2.3 容灾恢复
当生产侧的主机恢复之后，根据业务需要将业务迁移到生产侧的主机上。数据中心管理员可以通过计划性迁移的方式将业务虚拟机从容灾侧迁移到生产侧。
在恢复过程中，虚拟机业务不中断，RTO=0，RPO=0。
在生产侧的核心交换机上增加明细路由，使业务流通过生产侧主干网络到达客户机。
在VIS管理界面上，修改镜像卷的归属节点为生产侧VIS节点。
在VIS管理界面上，修改生产侧存储的数据卷为读优先。
5.3 生产侧VIS节点故障场景
5.3.1 容灾切换
生产侧VIS节点故障时，由于生产侧和容灾侧的VIS节点采用集群的方式部署，当其中的VIS集群中一个节点或者多个节点故障时，其他正常的VIS节点将自动接管业务。
在生产侧VIS节点故障的场景下，业务不中断，RTO为0，RPO为0。
图5-3 生产侧VIS节点故障场景
数据流描述：
生产侧VIS节点全部故障之后，主机访问存储通过容灾侧的VIS节点。
业务数据流将跨物理数据中心，如图5-3所示。
虚拟机对存储的写操作通过容灾侧的VIS节点分别写入到存储的源卷和镜像卷。
虚拟机的业务流通过在生产侧配置的明细路由，优先从生产侧的主干网络通道到达客户机，但是业务流在传输过程中跨越数据中心。
5.3.2 容灾后配置
通过5.3.1 中的描述，为减少在链路上的损耗，在管理员发觉数据中心生产侧的VIS节点全部故障时，需要通过以下操作，降低VIS节点故障带来链路损失。
将生产侧业务虚拟机计划性迁移到容灾侧，迁移过程中RTO和RPO为0。
在生产侧的核心交换机上删除明细路由，使业务流通过容灾侧主干网络到达客户机
在VIS管理界面上，修改容灾侧存储的数据卷为读优先
5.3.3 容灾恢复
当生产侧的主机恢复之后，根据业务需要将业务虚拟机迁移到生产侧的主机上。在恢复过程中，虚拟机业务不中断，RTO=0，RPO=0。
数据中心管理员可以通过以下操作进行恢复操作。
在生产侧的核心交换机上增加明细路由，使业务流通过生产侧主干网络到达客户机。
在VIS管理界面上，修改镜像卷的归属节点为生产侧VIS节点。
在VIS管理界面上，修改生产侧存储的数据卷为读优先。
通过性迁移的方式将业务虚拟机从容灾侧迁移到生产侧数据中心。
5.4 生产侧存储节点故障场景
5.4.1 容灾切换
由于生产侧和容灾侧数据存储通过VIS集群配置成镜像关系，生产侧和容灾侧的存储数据完全一致，当生产侧存储发生故障时，生产侧和容灾侧的存储的镜像关系被破坏，生产侧的VIS节点将只对容灾侧的存储进行读写数据。
在生产侧存储故障的场景下，业务不中断，RTO为0，RPO为0。
图5-4 生产侧存储故障场景
数据流描述：
生产侧存储故障之后，生产侧和容灾侧存储之间的镜像关系被破坏。
生产侧虚拟机通过生产侧VIS节点对容灾侧存储进行读写。
虚拟机对存储的写操作通过生产侧的VIS节点写入到容灾侧存储，数据流跨数据中心。
虚拟机的业务流通过在生产侧配置的明细路由，优先从生产侧的主干网络通道到达客户机，业务流在传输过程中跨越数据中心。
5.4.2 容灾后配置
通过5.4.1 中的描述，为减少在链路上的损耗，在管理员发觉数据中心生产侧的存储故障时，需要通过以下操作，降低生产侧主机故障带来链路损失。
在业务不繁忙的时候，通过计划性迁移的方式将虚拟机迁移到容灾侧。
在生产侧的核心交换机上删除明细路由，使业务流通过容灾侧主干网络到达客户机。
5.4.3 容灾恢复
当生产侧的存储恢复之后，管理员需要进行以下操作，然后根据业务需要将业务迁移到生产侧的主机上，在迁移过程中，业务不中断，RTO和RPO为0。
操作步骤：
管理员在VIS集群中对生产侧和容灾侧存储进行镜像恢复，并完成数据同步。
在生产侧的核心交换机上增加明细路由，使业务流通过生产侧主干网络到达客户机。
管理员将虚拟机计划性迁移到生产侧数据中心。
5.5 生产侧和容灾侧互联链路故障场景
5.5.1 容灾切换
生产侧和容灾侧互联网络中断时，则两个数据中心间的FC链路和大二层网络同时故障，VIS节点发生脑裂现象，优先读取仲裁存储的VIS点为主用节点，其他节点退出集群，同时FC链路故障，则仲裁胜出的VIS节点所在的存储为可用存储。
在生产侧和容灾侧间的互联链路故障的场景下，容灾侧仲裁获胜的场景下，RTO为分钟级，RPO为0，中断时间为虚拟机HA时的中断时间。
图5-5 生产侧和容灾侧之间的互联链路故障
数据流描述：
生产侧和容灾侧数据中心间的互联链路故障后，容灾侧VIS点仲裁获胜，虚拟机HA到容灾侧数据中心。
业务虚拟机通过容灾侧VIS节点访问容灾侧存储。
虚拟机对存储的写操作通过容灾侧的VIS节点写入到容灾侧存储。
虚拟机的业务流通过在生产侧配置的明细路由，优先从生产侧的主干网络通道到达客户机，但是业务流在传输过程中跨越数据中心。
5.5.2 容灾后配置
通过5.5.1 中的描述，在管理员发觉数据中心间互联链路故障时，需要通过以下操作，降低生产侧主机故障带来链路损失。
在生产侧的核心交换机上删除明细路由，使业务流通过容灾侧主干网络到达客户机。
在VIS管理界面上，修改镜像卷的归属节点为容灾侧VIS节点。
在VIS管理界面上，修改容灾侧存储的数据卷为读优先。
5.5.3 容灾恢复
当生产侧和容灾侧互联链路故障恢复之后，需要通过以下步骤完成配置调整，并将虚拟机通过计划性迁移到生产侧数据中心。在恢复过程中，虚拟机业务不中断，RTO=0，RPO=0。
生产侧和容灾侧镜像恢复，并完成两侧存储之间的数据同步。
在生产侧的核心交换机上增加明细路由，使业务流通过生产侧主干网络到达客户机。
在VIS管理界面上，修改镜像卷的归属节点为生产侧VIS节点。
在VIS管理界面上，修改生产侧存储的数据卷为读优先。
计划性迁移虚拟机到生产侧。#p#副标题#e#
6 组件介绍
本章节介绍云双活容灾最佳实践中各个部件，部件的详细信息请参考附录中的资料地图中的各部件产品文档。
6.1 VIS6600T
VIS6600T是灵活开放的虚拟化存储产品，该产品面向中高端客户群（政府信息中心、金融用户、运营商、大型企事业单位等），提供快照、镜像、复制等增值特性，可以实现异构环境下的存储整合，并提供数据迁移、数据保护和数据容灾功能。
6.1.1 物理视图
图6-1 VIS6600T产品前视图
图6-2 VIS6600T产品后视图
6.1.2 部件介绍
系统机框
系统插框通过背板为各种接口模块提供可靠的连接，实现各个模块之间的信号互连与电源互连。
图6-3 系统机框侧视图
控制器
控制器是控制框中的核心部件，主要负责处理存储业务、接收用户的配置管理命令并保存配置信息。在VIS6600T中，控制器也称为节点，每台VIS6600T一般部署2个节点。
图6-4 控制器前视图
管理模块
管理模块主要包括管理网口和CLI串口。通过对管理模块的功能和特性以及面板的介绍，您将了解到管理模块的详细信息。
图6-5 管理模块
接口模块
VIS6600T支持1Gb iSCSI接口模块、10Gb iSCSI接口模块和8Gb FC接口模块。
图6-6 1Gb iSCSI接口模块
图6-7 10Gb iSCSI接口模块
图6-8 8Gb FC接口模块
6.1.3 产品规格
硬件规格
表6-1 系统参数
|
名称 |
参数 |
说明 |
|
处理器 |
2个6核处理器 |
配置双控制器时 |
|
内存容量 |
96GB |
配置双控制器时 |
|
最大功耗 |
峰值功耗： 830W 运行功耗： 492W 空载功耗： 461W |
|
|
可靠性 |
MTBFa：700000小时 MTTRb：2小时 |
软件规格
表6-2 软件规格参数
|
参数 |
说明 |
|
|
最大应用服务器数量 |
FC接口时：512 GE接口时：256 |
|
|
最大映射视图数量 |
128 |
|
|
最大卷数量 |
4096 |
|
|
单个卷的最大容量 |
64TB |
|
|
单卷整合的最大逻辑盘数目 |
16 |
|
|
单卷重复映射的最大数目 |
8 |
|
|
单个逻辑盘划分的最大卷数目 |
16 |
|
|
单个逻辑盘组（DG）最大支持的卷数量 |
64 |
|
|
最大支持的逻辑盘组（DG）数量 |
8 |
|
|
最大接管阵列LUN数目 |
1024 |
|
|
接管LUN的最大容量 |
64TB |
|
|
虚拟快照 |
最多支持源LUN的个数 |
1024 |
|
单个源卷最多允许的虚拟快照个数 |
256 |
|
|
单个逻辑盘组（DG）最多支持快照的个数 |
1024 |
|
|
系统最多支持快照的个数 |
4096 |
|
|
镜像 |
单个镜像卷最大的plex数目 |
4 |
|
单个逻辑盘组（DG）最多支持镜像卷的个数 |
32 |
|
|
系统最多支持镜像卷的个数 |
192 |
|
|
远程复制 |
异步远程复制小组数量最大值 |
8 |
|
一个站点对应的生产中心最大数量 |
8 |
|
|
一组RVG对应的灾备中心最大数量 |
3 |
|
|
单个复制卷组的最大卷数目 |
64 |
|
|
系统最多支持复制卷个数 |
128 |
|
6.1.4 业务特性
存储虚拟化
VIS6600T的虚拟化特性是指VIS6600T可以屏蔽异构存储阵列的差异，把多种存储阵列通过一定的方式整合起来，形成统一资源池，最终提供虚拟的“卷”给应用服务器使用。VIS6600T的虚拟化特性通过对卷的管理，克服硬件设备的物理局限性和差异性，使卷可以跨越异构阵列的多个物理硬盘。
多节点集群
多节点集群特性是指VIS6600T的多个控制器通过心跳线缆连接，形成集群。集群中每个控制器都是集群的一个节点，集群各节点可以实现负载均衡，提高性能。
VIS6600T的集群特性具有以下特点：
支持2～8个节点组成集群。
支持从任意1个节点发现集群。
支持集群节点的统一管理。
镜像
VIS6600T的镜像功能是将数据以一式多份的方式存储在不同的存储阵列中或者同一阵列的不同LUN中。
VIS6600T的镜像特性具有以下特点：
通过镜像功能对读取数据进行负载分担，提升读操作性能。
支持镜像的轮循读取和优先读取。
将数据以一式多份的方式存储在不同的卷中，提高存储数据的安全性。
6.2 E9000刀片服务器
华为 Tecal E9000融合架构刀片服务器是华为公司推出的新一代功能强大的基础设施平台，集计算、存储、交换和管理于一体，在硬件计算平台的可用性、计算密度、节能减排、背板带宽、智能管控与服务、计算与存储的弹性配置和灵活扩展、网络低时延和应用加速等方面具有较强竞争力。
6.2.1 Tecal E9000 Chassis
Tecal E9000（以下简称：E9000）是华为公司研发的一款机箱产品，提供12U空间，可安装华为E9000系列计算节点、存储节点以及相应的资源扩展节点。
图6-9 华为E9000刀片服务器
6.2.2 CH121刀片
CH121是一款基于Intel®新一代Romley处理器平台的大内存的半宽计算节点，具有强大的计算能力和灵活的扩展能力。CH121安装在E9000服务器的机箱（以下简称机箱）内，通过管理模块MM910进行集中管理。
CH121专门为虚拟化、云计算、HPC及计算密集型的企业业务需求进行优化设计，具有高密度计算能力和超大的内存容量。
CH121安装在E9000机箱前面的半宽槽位上，机箱中最多可以安装16个CH121刀片。
图6-10 CH121面板图
6.2.3 MZ510网卡扣板
MZ510网卡扣板是一款2端口10GE CNA（Converged Network Adapter）模块，应用于E9000的计算节点，提供连接交换模块槽位的网络接口。MZ510提供2个10GE物理端口，支持NIC（Network Interface Card）、FCoE、iSCSI应用，实现融合网络方案。
MZ510外观
MZ510网卡扣板应用于E9000的半宽和全宽计算节点，包括CH121、CH220、CH221、CH222、CH240、CH241等。
MZ510网卡扣板与CX310、CX311、CX312、CX910等交换模块或者CX317直通模块配合使用，提供20G接口带宽。
图6-11 Mezz卡外观
图6-12 Mezz卡安装位置
MZ510提供计算节点的网络接口，连接交换槽位。当MZ510安装在Mezz1扣卡位置时，其2个10GE物理端口分别连接2X和3X交换槽位；当MZ510安装在Mezz2扣卡位置时，其2个10GE物理端口分别连接1E和4E交换槽位。
MZ510应用
MZ510与CX311配合使用，可同时支持纯以太网业务数据和FCoE存储业务数据，通过CX311的面板接口连接外部以太网络、FCoE网络、FC SAN，实现融合网络方案。
图6-13 MZ510 与CX311 连接组网
MZ510与CX310或CX312配合使用，可同时支持纯Ethernet业务数据和FCoE存储业务数据，通过CX310或CX312的面板接口连接外部Ethernet网络、FCoE网络，实现融合网络方案。
图6-14 MZ510 与CX310 或CX312 连接组网
6.2.4 CX310交换板
CX310是服务器的交换控制单元，为整个系统内部各服务槽位提供数据交换功能，并集中对外提供业务接口和管理接口。CX310安装在Tecal E9000机箱的后插槽位，通过Tecal E9000的背板与计算节点、存储节点和管理模块互联，实现内部数据报文和控制管理报文的交换，为用户提供高速数据传输。
CX310外观
CX310可安装在Tecal E9000机箱背面1E、2X、3X、4E四个槽位。
图6-15 CX310外观
图6-16 CX310面板图
CX310接口
接口是CX310提供给用户操作或配置的单元，主要用于接收和发送数据。CX310的以太网接口编号规则以“槽位号/子卡号/接口序号”来定义。
槽位号：表示当前交换模块的槽位，取值为1 ～ 4，分别对应面板上从左到右的逻辑编号1E、2X、3X和4E。
子卡号：表示交换业务接口可支持的子卡号，取值为1 ～ 20。具体的对应取值关系请参见表6-3和表6-4。
接口序号：表示交换模块子卡的接口编排序列号。每个子卡的接口序号排序关系请参见表6-3和表6-4。
表6-3 外部接口
|
名称 |
类型 |
数量 |
子卡号 |
接口序号 |
说明 |
|
串口 |
RJ-45 |
2 |
- |
- |
包括BMC串口和SYS串 口，通讯标准为RS232，无指示灯。 BMC串口：进入BMC模块命令行的串口。 SYS：本地管理、维护和调试融合交换平面的串口。 BMC和融合交换平面的串口波特率为115200bit/s。 |
|
10GE光口 |
SFP+ |
16 |
17 |
取值为1 ～ 16。接口从1起始编号，依据从左到右，再从下到上的规则依次递增编号。 |
主要用于外部网络的交换。每个端口提供2个指示灯，其中橙色为10GE光口数据传输状态指示灯，绿色为10GE光口连接状态指示灯。 |
表6-4 内部接口
|
名称 |
类型 |
数量 |
子卡号 |
接口序号 |
说明 |
|
10GE接口 |
- |
32 |
1~16 |
取值为1～2 |
与前插半宽槽位Slot01～Slot16相连接。子卡号与槽位号相对应为1～ 16。 |
|
40GE接口 |
- |
1 |
18 |
取值为1 |
1E和4E槽位的交换模块或2X和3X槽位的交换模块互连的接口。 |
|
GE接口 |
- |
2 |
19 |
取值为1～2 |
2个GE接口分别连接两个MM910，用于和MM910内部的eth0、eth2通信。 |
机箱内部组网
CX310与计算节点在机箱内部的组网如图1-5所示。计算节点对接CX310的接口由2个Mezz扣卡提供，其中：Tecal E9000 CX310 交换模块
Mezz1连接“2X”、“3X”槽位CX310的融合交换平面。
Mezz2连接“1E”、“4E”槽位CX310的融合交换平面。
图6-17 CX310 与计算节点的Mezz 扣卡对应关系
图6-18 CX310 与MZ510 接口的关系
6.2.5 CX311交换板
CX311是服务器的交换控制单元，为整个系统内部各服务槽位提供数据交换功能，并集中对外提供业务接口和管理接口。CX311安装在Tecal E9000机箱的后插槽位，通过Tecal E9000的背板与计算节点、存储节点和管理模块互联，实现内部数据报文和控制管理报文的交换，为用户提供高速数据传输。
CX311外观
图6-19 CX311外观
图6-20 CX311面板图
CX311接口
接口是CX311提供给用户操作或配置的单元，主要用于接收和发送数据。CX311的以太网接口编号规则以“槽位号/子卡号/接口序号”来定义。
槽位号：表示当前交换模块的槽位，取值为1 ～ 4，分别对应面板上从左到右的逻辑编号1E、2X、3X和4E。
子卡号：表示交换业务接口可支持的子卡号，取值为1 ～ 20。具体的对应取值关系请参见表6-5和表6-6。
接口序号：表示交换模块子卡的接口编排序列号。每个子卡的接口序号排序关系请参见表6-5和表6-6。
表6-5 外部接口
|
名称 |
类型 |
数量 |
子卡号 |
接口序号 |
说明 |
|
串口 |
RJ-45 |
2 |
- |
- |
包括BMC串口和SYS串 口，通讯标准为RS232，无指示灯。 BMC串口：进入BMC模块命令行的串口。 SYS：本地管理、维护和调试融合交换平面的串口。 BMC和融合交换平面的串口波特率为115200bit/s。 FCoE网关的串口波特率为9600bit/s。 |
|
10GE光口 |
SFP+ |
16 |
17 |
取值为1 ～ 16。接口从1起始编号，依据从左到右，再从下到上的规则依次递增编号。 |
面板上面部位的16个接口，主要用于外部网络的交换。 每个端口提供2个指示灯，其中橙色为10GE光口数据传输状态指示灯，绿色为10GE光口连接状态指示灯。 |
|
8GFC光口 |
SFP+ |
8 |
- |
- |
面板下面部位的8个接口，主要用于接收存储网络。 每个端口提供2个指示灯，其中橙色为8G FC光口数据传输状态指示灯，绿色为8G FC光口连接状态指示灯。 |
表6-6 内部接口
|
名称 |
类型 |
数量 |
子卡号 |
接口序号 |
说明 |
|
10GE接口 |
- |
32 |
1~16 |
取值为1～2 |
与前插半宽槽位Slot01～Slot16相连接。子卡号与槽位号相对应为1～16。 |
|
40GE接口 |
- |
1 |
18 |
取值为1 |
1E和4E槽位的交换模块或2X和3X槽位的交换模块互连的接口。 |
|
GE接口 |
- |
2 |
19 |
取值为1～2 |
2个GE接口分别连接两个MM910，用于和MM910内部的eth0、eth2通信。 |
|
10GE网口 |
- |
8 |
20 |
取值为1～8 |
与MX510连接 |
机箱内部组网
CX311与计算节点在机箱内部的组网如所示。计算节点对接CX311的接口由2个Mezz扣卡提供，其中：Tecal E9000 CX311 交换模块
Mezz1连接“2X”、“3X”槽位CX311的融合交换平面。
Mezz2连接“1E”、“4E”槽位CX311的融合交换平面。
图6-21 CX311 与计算节点的Mezz 扣卡对应关系
图6-22 CX311 与MZ510 接口的关系
6.3 SAN存储
6.3.1 OceanStor 18500
华为OceanStor 18500/18800/18800F高端存储系统是华为技术有限公司（以下简称华为）根据存储产品应用现状和存储技术未来发展趋势，针对企业大中型数据中心，推出的新一代（虚拟化、混合云、精简IT和低碳等）存储系统，聚焦于大中型企业核心业务（企业级数据中心、虚拟数据中心以及云数据中心等），能够满足大中型数据中心高可靠、高性能、高效率的业务需求。
OceanStor高端存储系统秉承灵活、可扩展的设计理念，采用创新的Smart Matrix智能矩阵架构，该架构采用多引擎（每个引擎包括两个控制器）的横向扩展体系，可为企业数据中心提供一至八个系统机柜和最多两个硬盘柜，无缝配合企业数据中心高度整合、高效率和可扩展的特点，能够满足数据中心大型数据库OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）、高性能计算、数字媒体、因特网运营、集中存储、备份、容灾和数据迁移等不同业务应用的需求。
硬件架构
存储系统是华为针对企业大中型数据中心专门研制的存储解决方案，它由系统柜和硬盘柜组成，其中系统柜包括硬盘框、KVM（Keyboard, Video, and Mouse）、SVP（service processor）、引擎以及数据交换机等，硬盘柜包括8个4U硬盘框。
引擎
存储系统的引擎是每个系统柜的核心部件，统一采用4U的外形设计，主要包括系统插框、控制器模块、BBU（Backup Battery Unit）模块、风扇模块、电源模块、多种主机接口模块。
每个引擎配置2个控制器，每个控制器由CPU、物理内存、主机接口和级联接口组成。引擎之间通过数据交换机连接，当其中某个引擎出现故障时，可提供透明的故障切换，自动实现业务负载均衡，确保了业务的连续性。
图6-23 OceanStor 18500引擎前面板
图6-24 OceanStor 18500引擎后视图
6.4 FusionSphere解决方案
FusionSphere是华为公司面向多行业客户推出的云操作系统产品，集虚拟化平台FusionComputer和云管理FusionMnanger等软件于一身，可以让云计算平台建设和使用更加简捷。华为云操作系统专门为云设计和优化，提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的API接口等，全面支撑传统和新型的企业服务，极大的提升IT资产价值和提高IT运营维护效率，降低运维成本。
6.4.1 FusionCompute
FusionCompute是云操作系统基础软件，主要由虚拟化基础平台和云基础服务平台组成，主要负责硬件资源的虚拟化，以及对虚拟资源、业务资源、用户资源的集中管理。它采用虚拟计算、虚拟存储、虚拟网络等技术，完成计算资源、存储资源、网络资源的虚拟化；同时通过统一的接口，对这些虚拟资源进行集中调度和管理，从而降低业务的运行成本，保证系统的安全性和可靠性，协助运营商和企业客户构建安全、绿色、节能的云数据中心。
6.4.2 FusionMnanger
华为FusionManager作为云管理系统，可以管理华为和第三方的虚拟化平台，提供物理设备和虚拟机接入、服务自动化部署、资源管理和监控等功能；系统也可以提供北向API与客户的系统集成，同时兼容第三方硬件和第三方虚拟化环境。#p#副标题#e#
7 附录
资料地图
表7-1 资料地图
|
序号 |
资料名称 |
资料路径 |
|
1 |
VIS6600T产品文档 |
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000012257&lang=zh |
|
2 |
Tecal E9000 MM910 管理模块V100R001 安装指南 |
http://support.huawei.com/enterprise/docinforeader.action?contentId=DOC1000015872&idPath=7919749|9856522|9856786|19955022|19961380 |
|
3 |
Tecal E9000 CH121 计算节点 V100R001安装指南 |
http://support.huawei.com/enterprise/docinforeader.action?contentId=DOC1000015862&idPath=7919749|9856522|9856786|19955022|19961662 |
|
4 |
Tecal E9000 MZ510 融合网卡 V100R001用户指南 |
http://support.huawei.com/enterprise/docinforeader.action?contentId=DOC1000022239&idPath=7919749|9856522|9856786|19955022|19961380|19962084|19962085 |
|
5 |
Tecal E9000 CX310 交换模块V100R001C00安装指南 |
http://support.huawei.com/enterprise/docinforeader.action?contentId=DOC1000017967&idPath=7919749|9856522|9856786|19955022|19961380|19962084|19962085|19962087 |
|
6 |
Tecal E9000 CX311 交换模块V100R001C00安装指南 |
http://support.huawei.com/enterprise/docinforeader.action?contentId=DOC1000017970&idPath=7919749|9856522|9856786|19955022|19961380|19962084|19962085|19962087 |
|
7 |
OceanStor 18500 产品文档 |
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000045794&lang=zh |
|
8 |
FusionSphere解决方案文档(GPI) |
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000037181&lang=zh |
|
9 |
FusionCompute GTS产品文档(GPI) |
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000036019&lang=zh |
|
10 |
FusionManager GTS产品文档(GPI) |
http://support.huawei.com/ehedex/hdx.do?docid=DOC1000036119&lang=zh |