1、华为 FusionCube HCI超融合方案白皮书华为 FusionCube HCI技术白皮书前言前言概述本文档介绍了华为 FusionCube 3.2 虚拟化超融合基础设施（FusionCube Hyper- converged Virtualization Infrastructure，以下简称 FusionCube 3.2 HCI）的产品价值、产品架构、高性能、线性扩展、系统安全以及系统可靠性。借助本手册，您可以全面了解 FusionCube 产品。读者对象本文档主要适用于以下工程师：营销工程师技术支持工程师维护工程师符号约定在本文中可能出现下列标志，它们所代表的含义如下。符号说明用于警

2、示紧急的危险情形，若不避免，将会导致人员死亡或严重的人身伤害。用于警示潜在的危险情形，若不避免，可能会导致人员死亡或严重的人身伤害。用于警示潜在的危险情形，若不避免，可能会导致中度或轻微的人身伤害。用于传递设备或环境安全警示信息，若不避免， 可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。“注意”不涉及人身伤害。华为 FusionCube HCI技术白皮书目录目录 HYPERLINK l _bookmark0 前言ii HYPERLINK l _bookmark1 产品概述1 HYPERLINK l _bookmark2 产品价值2 HYPERLINK l _bookmark3

3、 产品架构4 HYPERLINK l _bookmark4 FusionSphere 场景架构5 HYPERLINK l _bookmark5 架构5 HYPERLINK l _bookmark6 典型配置6 HYPERLINK l _bookmark7 组网9 HYPERLINK l _bookmark8 工作原理9 HYPERLINK l _bookmark10 3.2 Vmware 场景架构10 HYPERLINK l _bookmark11 3.2.1 架构11 HYPERLINK l _bookmark12 3.2.2 典型配置11 HYPERLINK l _bookmark13 3

4、.2.3 组网14 HYPERLINK l _bookmark14 3.2.4 工作原理15 HYPERLINK l _bookmark15 分布式存储16 HYPERLINK l _bookmark16 架构概述17 HYPERLINK l _bookmark19 关键业务流程20 HYPERLINK l _bookmark20 数据路由20 HYPERLINK l _bookmark21 IO 路径21 HYPERLINK l _bookmark24 Cache 机制23 HYPERLINK l _bookmark28 存储管理25 HYPERLINK l _bookmark29 存储集群

5、管理25 HYPERLINK l _bookmark30 存储服务化26 HYPERLINK l _bookmark31 数据冗余26 HYPERLINK l _bookmark32 多副本26 HYPERLINK l _bookmark34 Erasure Code27 HYPERLINK l _bookmark35 特性介绍28 HYPERLINK l _bookmark36 SCSI/iSCSI 块接口28 HYPERLINK l _bookmark37 精简配置30 HYPERLINK l _bookmark38 4.5.3 快照31 HYPERLINK l _bookmark39 共

6、享卷快照32 HYPERLINK l _bookmark40 一致性快照32 HYPERLINK l _bookmark41 链接克隆33 HYPERLINK l _bookmark42 多资源池34 HYPERLINK l _bookmark43 QoS35 HYPERLINK l _bookmark44 存储双活35 HYPERLINK l _bookmark45 存储异步复制36 HYPERLINK l _bookmark46 硬件设备平台38 HYPERLINK l _bookmark47 机架服务器平台38 HYPERLINK l _bookmark48 RH1288 V3 机架服务

7、器38 HYPERLINK l _bookmark49 RH2288H V3 机架服务器39 HYPERLINK l _bookmark50 RH5885H V3 机架服务器40 HYPERLINK l _bookmark51 5.1.4 1288H V5 机架服务器41 HYPERLINK l _bookmark52 5.1.5 2288H V5 机架服务器42 HYPERLINK l _bookmark53 5.1.6 2488 V5 机架服务器43 HYPERLINK l _bookmark54 5.1.7 2488H V5 机架服务器44 HYPERLINK l _bookmark55

8、 5.2 E9000 刀片服务器平台44 HYPERLINK l _bookmark56 5.2.1 E9000 机框44 HYPERLINK l _bookmark57 5.2.2 E9000 刀片45 HYPERLINK l _bookmark58 5.2.3 高性能交换板50 HYPERLINK l _bookmark59 5.3 高密服务器平台 X6800/X600053 HYPERLINK l _bookmark60 5.3.1 X6800 机框53 HYPERLINK l _bookmark61 5.3.2 X6800 服务器节点54 HYPERLINK l _bookmark62

9、 5.3.3 X6000 机箱58 HYPERLINK l _bookmark63 5.3.4 X6000 服务器节点59 HYPERLINK l _bookmark64 安装部署和运维管理61 HYPERLINK l _bookmark65 自动化部署61 HYPERLINK l _bookmark66 FusionCube Builder61 HYPERLINK l _bookmark67 系统初始化63 HYPERLINK l _bookmark68 设备自动发现64 HYPERLINK l _bookmark69 统一运维管理65 HYPERLINK l _bookmark70 业务发

10、放管理66 HYPERLINK l _bookmark71 一键式运维67 HYPERLINK l _bookmark72 Call Home70 HYPERLINK l _bookmark73 性能和可扩展性72 HYPERLINK l _bookmark74 系统高性能72 HYPERLINK l _bookmark75 分布式 I/O 环72 HYPERLINK l _bookmark76 分布式 SSD Cache 加速73 HYPERLINK l _bookmark77 Read/Write Cache74 HYPERLINK l _bookmark78 大块 Pass Throug

11、ht76 HYPERLINK l _bookmark79 硬件加速77 HYPERLINK l _bookmark80 线性扩展77 HYPERLINK l _bookmark81 存储平滑扩容78 HYPERLINK l _bookmark82 性能线性扩展78 HYPERLINK l _bookmark83 一键式扩容79 HYPERLINK l _bookmark84 FusionCube 分布式存储相对于传统 SAN 的性能优势80 HYPERLINK l _bookmark85 更高的性能80 HYPERLINK l _bookmark86 线性 Scale-up/Scale-out

12、81 HYPERLINK l _bookmark87 大池 POOL83 HYPERLINK l _bookmark88 SSD Cache vs SSD Tier84 HYPERLINK l _bookmark89 系统可靠性86 HYPERLINK l _bookmark90 数据可靠性86 HYPERLINK l _bookmark91 块存储集群可靠性86 HYPERLINK l _bookmark92 数据一致性87 HYPERLINK l _bookmark94 数据冗余保护87 HYPERLINK l _bookmark95 快速数据重建88 HYPERLINK l _bookm

13、ark97 数据存储多路径88 HYPERLINK l _bookmark98 硬件可靠性89 HYPERLINK l _bookmark99 系统亚健康增强89 HYPERLINK l _bookmark100 备份与恢复93 HYPERLINK l _bookmark101 容灾恢复95 HYPERLINK l _bookmark102 双活解决方案96 HYPERLINK l _bookmark103 异步复制解决方案97 HYPERLINK l _bookmark104 系统安全98 HYPERLINK l _bookmark105 系统安全威胁98 HYPERLINK l _book

14、mark106 总体安全框架99 HYPERLINK l _bookmark108 网络安全100 HYPERLINK l _bookmark110 应用安全101 HYPERLINK l _bookmark111 权限管理101 HYPERLINK l _bookmark112 Web 安全101 HYPERLINK l _bookmark113 数据库加固102 HYPERLINK l _bookmark114 日志管理102 HYPERLINK l _bookmark115 9.2.3 主机安全103 HYPERLINK l _bookmark116 操作系统加固103 HYPERLIN

15、K l _bookmark117 数据安全103华为 FusionCube HCI技术白皮书1 产品概述 1产品概述随着数据不断增长以及互联网业务的兴起，新兴业务的激增、业务数据呈现几何倍数增加，传统服务器+存储的架构已经无法很好满足业务发展需求，分布式、云化技术应运而生。越来越多的企业采用虚拟化与云计算技术来构建 IT 系统，提升 IT 系统的资源利用率以及缩短业务上线周期。但在应用过程中，企业面临如下挑战：虚拟平台部署和管理复杂，运维费用仍然维持增长趋势。安装部署复杂，硬件来自多厂商，规划、部署、调优需要丰富的经验支撑。多厂商设备，售后支持界面多，解决问题慢。系统庞大（不同厂商硬件设备维护

16、、虚拟平台管理），维护难度大。企业越来越关注成本控制、业务敏捷、风险管控，希望能拥有总成本低、新业务的上线时间快、资源可弹性伸缩、安全可靠、高性能的 IT 系统。华为 FusionCube 超融合基础设施（Huawei FusionCube Hyper-Converged Infrastructure） 是一个开放的、可扩展的系统，具有计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务自动化快捷部署、统一管理、资源智能弹性伸缩、运维简单的特点，可帮助客户业务快速上线，快速实现不同云应用的部署，同时降低维护管理的难度。华为 FusionCube HCI技术白皮书2 产品价值 2产品价值华

17、为 FusionCube HCI 是华为公司 IT 产品线的旗舰产品。FusionCube 遵循开放架构标准，集成服务器、分布式存储及网络交换机为一体，无需外置存储设备，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。主要价值如下：融合FusionCube 实现了计算、存储和网络资源的融合：硬件融合：计算存储网络高度集成，线性扩容。管理融合：统一运维管理，提高资源利用率，降低OPEX 费用。应用融合：针对应用业务模型，软硬件深度调优，实现性能提升。简单FusionCube 实现了预安装、预集成和预验证、上电后的设备自动发现、统一的维护管理，端到端的简化了业务交付：简化

18、安装：硬件预置安装，软件预置集成，设备进场后开箱即用。简捷交付：设备上电自动发现，参数自动配置，实现业务快速上线。简单维护：统一界面管理，故障主动排查，简化日常运维。优化FusionCube 通过采用业界领先硬件，以及分布式存储软件，为应用提供最优的业务体验：存储优化：通过内置分布式存储，为数据库应用提供了高并发、高吞吐量的存储服务。开放FusionCube HCI 是开放的超融合基础设施平台，不绑定特定的上层应用，可以为业界主流虚拟化平台、数据库等提供计算、存储和网络资源：兼容主流虚拟化平台（FusionSphere，VMware vSphere）。一套系统同时支持物虚拟化和数据库混合部署。

19、华为 FusionCube HCI技术白皮书3 产品架构 3产品架构华为 FusionCube HCI 总体架构主要由：硬件平台、分布式存储软件、安装部署和运维管理平台、虚拟化平台以及相应的备份容灾方案，其中虚拟化平台支持华为自研的FusionSphere 虚拟化平台以及 Vmware 虚拟化平台。另外,FusionSpere 场景下， FusionCube HCI 支持混合部署方案，在支持 FusionSphere 虚拟化平台外还能同时支持物理节点部署，为系统数据库提供相应的计算、存储和网络资源。华为 FusionCube HCI 总体架构详细构成如下图所示：图3-1 华为FusionCub

20、e HCI 总体架构表3-1 华为FusionCube HCI 总体架构组件说明名称说明FusionCube CenterFusionCube 的管理软件，管理其中的虚拟化资源、硬件资源，提供系统监控管理和运维管理等功能。FusionCube Builder提供现场快速安装部署 FusionCube 系统软件，可用于现场更换虚拟化平台软件或者更新版本。FusionStorage使用分布式存储技术，通过合理有序组织服务器的本地硬名称说明盘，提供高性能高可靠的块存储业务。虚拟化平台支持华为自研 FusionSphere 虚拟化平台和Vmware 虚拟化平台，提供系统虚拟化管理平台。备份用于备份系统

21、业务虚拟化，主要包括自研的备份软件eBackup 和第三备份软件 Veeam、爱数等主流备份软件。容灾提供基于存储双活和存储异步复制的容灾方案，容灾软件主要采用自研 BCManager 和UltraVR硬件平台服务器使用 E9000/X6800/X6000/机架服务器，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，计算、存储都在服务器内部署完成，支持 GPU，SSD PCIe 等IO 加速扩展，支持丰富的交换模块 10GE/RoCE，根据业务要求灵活配置。华为 FusionCube HCI 是华为公司 IT 产品线的旗舰产品。FusionCube 遵循开放架构标准，融合服务器、

22、分布式存储及网络交换机为一体，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。 HYPERLINK l _bookmark4 FusionSphere 场景架构 HYPERLINK l _bookmark10 Vmware 场景架构FusionSphere 场景架构FusionCube HCI 3.2 版本中 FusionSphere 虚拟化场景采用 KVM 虚拟化架构，系统主要由华为自研硬件平台、FusionCube 分布式存储系统、FusionSphere 虚拟化平台以及FusionCube Center 管理平台构成，其中 FusionCube Builder

23、提供相应额软件安装操作。配套软件 eBackup、Veeam、UltraVR 等可以给系统提供备份、容灾等高级特性。架构在 FusionSphere 虚拟化的部署中，FusionCube 分布式存储软件直接部署在Hypervisor 内核中，节点的 HDD 和 SSD Cache 存储介质通过 FusionCube 分布式存储软件构造成系统共享的存储池资源，同时 FusionSphere 虚拟化平台将节点的计算资源虚拟提供给节点上的业务虚拟机使用。根据节点提供的功能特性差异，又分为管理融合节点、存储融合节点、计算节点和物理数据库节点，详细的节点架构如下图：图3-2 Fusionsphere 场

24、景节点架构表3-2 FusionSphere 场景各类节点说明名称说明部署原则MCNA（管理节点）具有管理功能的节点，其上部署了 VRM、FCC/FSM 等管理虚拟机。同时也可提供存储和计算功能必须部署 2 个。SCNA（存储计算节点）具有存储、计算功能的节点。提供 FusionCube 分布式存储 HDD 磁盘以及 SSD Cache 存储资源以及虚拟化计算资源根据需要部署 1 个多个。CNA（计算节点）具有计算功能的节点。只能提供虚拟化计算资源根据需要部署 0 个多个。DBN（数据库节点）物理部署节点，可提供系统数据库计算资源根据需要部署 0 个多个。典型配置FusionCube HCI

25、3.2 版本中 FusionSphere 虚拟化场景可支持大容量的HDD+SSD Cache混合部署场景以及高性能的全 SSD 部署场景。具体的场景配置具体如下： 混合部署场景节点典型配置：配置项典型配置说明服务器类型V5 机架服务器/E9000 V5 刀片/高密服务器X6800 V5 和X6000 V5等服务器根据客户对机柜空间、磁盘大小、密度、PCIE 网卡数量等选择合适的服务器类型；机架服务器：最灵活，支持各类硬盘类型，预留多个PCIE 槽位，支持 GPU 卡。但空间占用大；配置项典型配置说明E9000 刀片：集成度高，可支持计算、存储、网络集成在一个 E9000 机柜内，但只支持 2.

26、5 寸 HDD 以及NVME SSD 盘，单节点容量偏小， 节点网卡配置固定；高密服务器 X6800 V5：存储计算密度高，4U4 节点，节点支持 2 块系统盘以及 10 块 3.5 寸大盘，但后置PCIE 槽位不足（2 个 8X 槽位）， 不支持 GPU 卡；高密服务器 X6000 V5：计算密度高，2U4 节点，但节点只支持 6*2.5 寸盘（含系统盘），单节点磁盘容量偏小，网卡只有板载的2*GE+2*10GE，只配置一张 NVME SSD 卡做 cache，不支持 GPU。CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR42

27、666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘2T/4T/6T/8T SATA 盘，1.2T/1.8T/2.4T SAS 盘操作系统盘默认为2*600GB SAS 盘FusionCube 分布式存储要求 SATA 盘必须要采用 3 副本或者 EC 配比为 N+2 以上的冗余策略，SAS 盘可采用 2 副本、三副本或者 EC 配比为 N+2 以上的冗余策略。FusionCube 分布式存储在部署过程中会占用 3 个节点上的一块磁盘用于存放 ZK 元数据。Cache华为自研NVME SSD V5 盘或卡；华为自研SAS SSD V5 盘；系统的 cac

28、he 大小可根据客户业务压力灵活配置，一般默认配置为800GB NVME SSD V5 盘/卡；Cache 类型出华为自研的 NVME SSD 和SAS SSD 外，还可支持Intel、三星、镁光等完成兼容性验证的 SAS/SATA SSD 盘。网卡2*10GE+2*10GE默认推荐管理、业务共用 2*10GE 网口，存储网络平面独占 2*10GE 网口，如果配置了容灾，则建议再增加 2*10GE 网口用于复制网络平面。全闪存部署场景节点典型配置：华为 FusionCube HCI技术白皮书3 产品架构配置项典型配置说明服务器类型V5 机架服务器/E9000V5 刀片/高密服务器X6800 V

29、5 和X6000 V5等服务器根据客户对机柜空间、磁盘大小、密度、PCIE 网卡数量等选择合适的服务器类型；机架服务器：最灵活，支持各类硬盘类型，预留多个PCIE 槽位，支持 GPU 卡。但空间占用大；E9000 刀片：集成度高，可支持计算、存储、网络集成在一个 E9000 机柜内，但只支持 2.5 寸 HDD 以及NVME SSD 盘，单节点容量偏小， 节点网卡配置固定；高密服务器 X6800 V5：存储计算密度高，4U4 节点，节点支持 2 块系统盘以及 10 块 3.5 寸大盘，但后置PCIE 槽位不足（2 个 8X 槽位）， 不支持 GPU 卡；高密服务器 X6000 V5：计算密度

30、高，2U4 节点，但节点只支持 6*2.5 寸盘（含系统盘），单节点磁盘容量偏小，网卡只有板载的2*GE+2*10GE，只配置一张 NVMESSD 卡做 cache，不支持 GPU。CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR42666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘ES3000 NVME SSD V5盘； ES3000 SAS SSDV5 盘操作系统盘为 2*480GB SATA SSD 盘或2*600GB SAS 盘FusionCube 分布式存储默认全闪存场景采用 2

31、 副本或者 EC 配比为N+2 以上的冗余策略，客户如果要求更高的可靠性也可采用三副本（成本更高）。全闪存磁盘默认采用华为自研盘， 推荐采用 3DWPD 磁盘，业务写入数据量不大场景下，可采用1DWPD 磁盘。全闪存场景下，分布式存储 ZK 元数据放在操作系统磁盘空间上，为满足 ZK 元数据的性能要求，操作系统推荐采用 480GB SATA SSD 盘，5 节点以上可采用 600GB SAS 盘（ZK 元数据与管理 VM 不在同节点上）。网卡2*10GE+2*10GE默认推荐管理、业务共用 2*10GE华为 FusionCube HCI技术白皮书3 产品架构配置项典型配置说明网口，存储网络平面

32、独占 2*10GE 网口，如果配置了容灾，则建议再增加 2*10GE 网口用于复制网络平面。组网华为 FusionCube HCI 3.2 版本 FusionSphere 场景的系统组网包含：管理平面、存储平面、业务平面、BMC 平面以及容灾涉及的复制、仲裁平面。详细的组网情况如下：图3-3 FusionSphere 场景系统组网图通信平面类型说明介绍：管理平面：FusionCube 系统的管理网络平面，用于系统的业务操作和运维管理，支持TCP/IP 协议，支持 GE/10GE 组网，可以与业务平面共网卡，通过VLAN 隔离；存储平面：FusionCube 分布式存储节点间数据读写操作网络平面

33、，支持 TCP/IP 协议、支持 10GE 组网，建议独占网卡，网口配置 active-backup 模式的网口聚合；业务平面：客户业务通信网络平面，支持 TCP/IP 协议，支持 GE/10GE 组网，可以与管理平面共网卡，通过VLAN 隔离；BMC 平面：服务器设备管理 IP 平面，访问 FusionCube 系统服务器设备的运维管理； 复制平面：容灾方案中，主备站点间的数据同步网络平面，支持TCP/IP 协议，支持GE/10GE 组网，建议系统独占网卡，避免与其他网络平面争抢资源；工作原理业务 IO 流程FusionSphere 场景下，业务虚拟机部署在主机 KVM 虚拟化平台上，存储采

34、用的FusionCube 分布式存储资源，虚拟机 IO 通过SCSI 协议，直接与运行在 Hypervisor 内核中的分布式存储软件进行数据交互，详细业务 IO 流程参考 HYPERLINK l _bookmark9 图 3-4。图3-4 FusionSphere 场景业务 IO 流程图FusionSphere 场景下的节点架构 IO 路径短，效率更高。业务管理与运维FusionSphere 场景下，FusionCube HCI 系统支持系统预安装集成能力，系统在出厂时已将系统硬件BIOS 和磁盘 RAID 配置、虚拟化平台、管理软件、分布式存储软件预安装在节点内，客户在接到产品后，上电后可

35、以在短短的几十分钟内完成系统的配置、初 始化。客户完成系统初始化后，即可在系统行发放业务虚拟机使用。在 FusionCube Center 管理页面上，支持业务虚拟机的创建以及虚拟机生命周期的管理，支持对系统硬件、存储、计算资源、虚拟机等监控管理，将系统各个组件的告警汇总统一上报管理，提供系统的一键式运维能力，包括：一键式扩容、升级、日志收件、健康巡检等。虚拟化平台一些高级特性或配置可通过单点登录的方式跳转至虚拟化管理平台 FusionCompute 页面进行操作，如：计算集群的创建配置、DVS 创建和配置、虚拟机高级特性配置等非常用操作。Vmware 场景架构FusionCube HCI 3

36、.2 版本中 Vmware 虚拟化场景采用 ESXi 虚拟化架构，系统主要由华为自研硬件平台、FusionCube 分布式存储系统、ESXi 虚拟化平台以及 FusionCube Center 管理平台构成，其中 FusionCube Builder 提供相应额软件安装操作。配套软件eBackup、Veeam、BCManager 等可以给系统提供备份、容灾等高级特性。架构在 VMware 虚拟化的部署中，FusionCube 分布式存储软件部署在控制器虚拟机（CVM）中，节点的 HDD 和 SSD Cache 存储介质通过 VMDirectPath I/O 直通给 CVM 上，然后通过 Fus

37、ionCube 分布式存储软件将 HDD 和 SSD Cache 构造成系统共享的存储池资源，同时 Esxi 虚拟化平台将节点的计算资源虚拟提供给节点上的业务虚拟机使用。根据节点提供的功能特性差异，又分为管理融合节点、存储融合节点和计算节 点，详细的节点架构如下图：表3-3 Vmware 场景各类节点说明名称说明部署原则MCNA（管理节点）具有管理功能的节点，其上 CVM 部署了 FCC/FSM 等管理进程。同时也可提供存储和计算功能必须部署 2 个。SCNA（存储计算节点）具有存储、计算功能的节点。提供 FusionCube 分布式存储 HDD 磁盘以及 SSD Cache 存储资源以及虚拟

38、化计算资源根据需要部署 1 个多个。CNA（计算节点）具有计算功能的节点。只能提供虚拟化计算资源根据需要部署 0 个多个。典型配置FusionCube HCI 3.2 版本中 Vmware 虚拟化场景可支持大容量的HDD+SSD Cache 混合部署场景以及高性能的全 SSD 部署场景。具体的场景配置具体如下：混合部署场景节点典型配置：配置项典型配置说明服务器类型V5 机架服务器/高密服务器X6800 V5 等服务器根据客户对机柜空间、磁盘大小、密度、PCIE 网卡数量等选择合适的服务器类型；配置项典型配置说明机架服务器：最灵活，支持各类硬盘类型，预留多个PCIE 槽位，支持 GPU 卡,22

39、88H V5 需要配套两张RAID 卡，1288H V5 配套 M.2 组RAID。但空间占用大；高密服务器 X6800 V5：存储计算密度高，4U4 节点，节点支持 2 块系统盘以及 10 块 3.5 寸大盘，前置PPCIE 槽位配置 SSD Cache 以及M.2 卡，后置 PCIE 槽位不足（2 个8X 槽位），不支持 GPU 卡；CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR42666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘2T/4T/6T/8T SATA 盘，1.2T/1.

40、8T/2.4T SAS 盘操作系统盘默认为2*600GB SAS 盘FusionCube 分布式存储要求 SATA 盘必须要采用 3 副本或者 EC 配比为 N+2 以上的冗余策略，SAS 盘可采用 2 副本、三副本或者 EC 配比为 N+2 以上的冗余策略。FusionCube 分布式存储在部署过程中会占用 3 个节点上的一块磁盘用于存放 ZK 元数据。2288H V5 之外的存储机型需要配置硬 M.2 RAID 组，用于安装部署Esxi。Cache华为自研NVME SSD V5 盘或卡；华为自研SAS SSD V5 盘；系统的 cache 大小可根据客户业务压力灵活配置，一般默认配置为80

41、0GB NVME SSD V5 盘/卡；Cache 类型出华为自研的 NVME SSD 和SAS SSD 外，还可支持Intel、三星、镁光等完成兼容性验证的 SAS/SATA SSD 盘。网卡2*10GE+2*10GE默认推荐管理、业务共用 2*10GE 网口，存储网络平面独占 2*10GE 网口，如果配置了容灾，则建议再增加 2*10GE 网口用于复制网络平面。全闪存部署场景节点典型配置：配置项典型配置说明华为 FusionCube HCI技术白皮书3 产品架构配置项典型配置说明服务器类型V5 机架服务器/E9000 V5 刀片/高密服务器X6800 V5 和X6000 V5等服务器根据客

42、户对机柜空间、磁盘大小、密度、PCIE 网卡数量等选择合适的服务器类型；机架服务器：最灵活，支持各类硬盘类型，预留多个PCIE 槽位，支持 GPU 卡,2288H V5 需要配套两张RAID 卡，1288H V5 配套 M.2 组RAID。但空间占用大；E9000 刀片：集成度高，可支持计算、存储、网络集成在一个 E9000 机柜内，但只支持NVME SSD 盘， 节点网卡配置固定；高密服务器 X6800 V5：存储计算密度高，4U4 节点，节点支持 2 块系统盘以及 10 块 2.5 寸 SAS/SATA SSD 盘，前置 PPCIE 槽位配置 SSD Cache 以及 M.2 卡，后置PC

43、IE 槽位不足（2 个 8X 槽位），不支持 GPU 卡；高密服务器 X6000 V5：计算密度高，2U4 节点，但节点主存只支持NVME SSD 盘，单节点磁盘容量偏小，网卡只有板载的2*GE+2*10GE，只配置一张 NVME SSD 卡做 cache，不支持 GPU。CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR42666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘ES3000 NVME SSD V5盘； ES3000 SAS SSDV5 盘操作系统盘为 2*480GB SATA

44、SSD 盘或2*600GB SAS 盘FusionCube 分布式存储默认全闪存场景采用 2 副本或者 EC 配比为N+2 以上的冗余策略，客户如果要求更高的可靠性也可采用三副本（成本更高）。全闪存磁盘默认采用华为自研盘， 推荐采用 3DWPD 磁盘，业务写入数据量不大场景下，可采用1DWPD 磁盘。全闪存场景下，分布式存储 ZK 元数据放在操作系统磁盘空间上，为满足 ZK 元数据的性能要求，操作系统推荐采用 480GB SATA SSD 盘，5 节点以上可采用 600GB SAS盘（ZK 元数据与管理 VM 不在同华为 FusionCube HCI技术白皮书3 产品架构配置项典型配置说明节点

45、上）。网卡2*10GE+2*10GE默认推荐管理、业务共用 2*10GE 网口，存储网络平面独占 2*10GE 网口，如果配置了容灾，则建议再增加 2*10GE 网口用于复制网络平面。组网华为 FusionCube HCI 3.2 版本Vmware 场景的系统组网包含：管理平面、存储平面、业务平面、BMC 平面以及容灾涉及的复制、仲裁平面。详细的组网情况如下：图3-5 Vmware 场景系统组网图通信平面类型说明介绍：管理平面：FusionCube 系统的管理网络平面，用于系统的业务操作和运维管理，支持TCP/IP 协议，支持 GE/10GE 组网，可以与业务平面共网卡，通过VLAN 隔离；存

46、储平面：FusionCube 分布式存储节点间数据读写操作网络平面，支持 TCP/IP 协议， 支持 10GE 组网，建议独占网卡，网口配置 active-backup 模式的网口聚合；业务平面：客户业务通信网络平面，支持 TCP/IP 协议，支持 GE/10GE 组网，可以与管理平面共网卡，通过VLAN 隔离；BMC 平面：服务器设备管理 IP 平面，访问 FusionCube 系统服务器设备的运维管理； 复制平面：容灾方案中，主备站点间的数据同步网络平面，支持TCP/IP 协议，支持GE/10GE 组网，建议系统独占网卡，避免与其他网络平面争抢资源；仲裁平面：容灾双活方案中，业务站点与仲裁

47、站点之间的网络通信平面，支持支持TCP/IP 协议，支持 GE/10GE 组网。工作原理业务 IO 流程Vmware 场景下，FusionCube 分布式存储软件部署在控制器虚拟机（CVM）中，节点的 HDD 和 SSD Cache 存储介质通过 VMDirectPath I/O 直通给 CVM 上，通过FusionCube 分布式存储软件将 HDD 和SSD Cache 构造成系统共享的存储池资源，存储通过 ISCSI 协议将卷设备挂载到主机上供业务虚拟机使用。详细业务 IO 流程参考下图：图3-6 Vmware 场景业务 IO 流程图Vmware 场景下分布式存储软件运行在 CVM 上，I

48、O 路径更长。业务管理和运维Vmware 场景下，FusionCube HCI 系统在出厂时已将系统硬件BIOS 和磁盘 RAID 配置，客户在接收产品上电后，可以通过 FusionCube Builder 安装工具快速完成安装部署的参数设置，完成Esxi、CVM 虚拟机 OS、FusionCube Center 管理平台、分布式存储软件安装等系统的软件安装。完成系统安装部署后，客户在 FusionCube Center 管理平台界面上对系统进行配置、然后完成系统的整体初始化。系统需要接入 vCenter 进行管理，如果客户已有 vCenter，则可以直接将系统接入即可，如果客户没有，则可以在

49、系统上部署 vCenter 管理虚拟机，再将系统接入到 vCenter 上。日常业务管理运维过程中，客户业务管理发放统一在 vCenter 上进行操作，客户在vCenter Server 上进行创建管理虚拟机，主机集群等虚拟化平台相关操作管理也均在vCenter 上操作。华为 FusionCube HCI技术白皮书4 分布式存储系统的运维管理则统一在 FusionCube Center 上操作，系统会将硬件设备、存储的告警汇总上报管理，但不包含 Esxi 虚拟化平台的错误告警，由 vCenter Server 进行管理。FusionCube Center 可以提供系统的一键式运维能力，包括：一

50、键式扩容、升级、日志收件、健康巡检等.vCenter Plugin为支持在 vCenter 上管理操作 FusionCube 系统，FusionCube 推出了 vCenter Plugin 特 性，在 vCenter 上部署 FusionCube 的Plugin 组件后，通过 FusionCube Center 的管理 IP 以及账户密码即可将 FusionCube 接入到 vCenter Plugin，实现在 vCenter Server 上对FusionCube 系统的硬件、存储设备资源的监控管理，系统的告警上报，创建管理卷设备以及虚拟机快照等功能。同时 FusionCube 的 vCe

51、nter Plugin 可支持多套 FusionCube 同时接入，可同时支持不同版本 vCenter Server，包括：6.0/6.5/6.7，详细的框架图如下： 4分布式存储FusionCube 内置分布式存储为业务提供存储服务，FusionCube 分布式存储提供是块存储设备，采用独特的并行架构、创新的缓存算法、自适应的数据分布算法，既消除了热点也提高了性能，并且能够以超快的重建时间实现自动化自修复，提供卓越的可用性和可靠性。线性扩展和弹性FusionCube 分布式存储采用全分布式 DHT 架构，将所有元数据按规则分布在各节点，避免了元数据瓶颈，支持线性扩展。FusionCube 分

52、布式存储采用了独特的数据分块切片技术，以及基于 DHT Hash 的数据路由算法，可以将卷的数据均匀的分散到较大的资源池故障域范围内，使得每个卷可以获得更大的 IOPS 和 MBPS 性能，也使得每个硬件资源的负载相对均衡。高性能FusionCube 分布式存储免锁化调度的 IO 软件子系统，彻底解决了分布式锁冲突， 使得 IO 路径上无需进行任何锁操作和元数据查询，IO 路径短、时延低；分布式的无状态机头，可以充分发挥各个硬件节点的能力，大大提升了系统的并发 IOPS 和并发 MBPS。同时 FusionCube 分布式存储采用分布式的 SSD cache 技术，配合大容量的 SAS/SAT

53、A 盘做主存，使得系统的性能可以具备 SSD 的性能和SAS/SATA 的容量。高可靠性FusionCube 分布式存储支持多种数据冗余保护机制，如 2 副本、3 副本、EC 等； 在此基础上，FusionCube 分布式存储支持设置灵活的数据可靠性策略，允许将不同的副本放在不同的服务器上，保证在服务器故障的情况下，数据仍然不丢失、仍然可访问。同时采用对有效数据分片进行数据的冗余保护，在硬盘、服务器故障的时候，能够对有效数据进行并行重建，1TB 硬盘的重建时间小于 30 分钟，大大增强系统的可靠性。丰富的存储高级功能精简配置，当用户对卷进行写操作时才分配实际物理空间，来为用户提供比物理存储资源

54、更多的虚拟存储资源。卷快照，将用户的逻辑卷数据在某个时间点的状态保存下来，作为快照点； 快照不限次数且性能不下降。链接克隆，基于增量快照提供链接克隆，一个快照可以创建出多个克隆卷， 各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。 HYPERLINK l _bookmark16 架构概述 HYPERLINK l _bookmark19 关键业务流程 HYPERLINK l _bookmark28 存储管理 HYPERLINK l _bookmark31 数据冗余 HYPERLINK l _bookmark35 特性介绍架构概述Fus

55、ionCube 分布式存储采用分布式集群控制技术和 DHT 路由技术，提供分布式存储功能特性。FusionCube 分布式存储功能架构如 HYPERLINK l _bookmark17 图 4-1 所示。图4-1 FusionCube 分布式存储功能框架图表4-1 FusionCube 分布式存储各组件说明名称说明存储驱动层通过 SCSI/iSCSI 驱动接口向操作系统、数据库提供卷设备。存储服务层提供各种存储高级特性，如快照、链接克隆、精简配置、分布式 cache、容灾备份等。存储引擎层FusionCube 分布式存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈

56、与并行数据重建子系统等。FusionCube 分布式存储逻辑架构如 HYPERLINK l _bookmark18 图 4-2 所示。图4-2 FusionCube 分布式存储逻辑架构图表4-2 FusionCube 分布式存储逻辑组件名称说明FSMFusionStorage Manager 缩写，FusionStorage 管理模块，提供告警、监控、日志、配置等操作维护功能。与 FusionCube Center 共部署在一起，工作在主备模式下FSAFusiostorage Agent 缩写，代理进程，部署在各节点上，实现各节点与 FusionStorage Manager 通信，可收集各节

57、点的监控与告警信息或在升级本节点软件组件时接收升级包与执行升级。ZKZookeeper 缩写。一个系统需部署 3、5、7 等奇数个Zookeeper 组成。Zookeeper 集群，为 MDC 集群提供选主仲裁，Zookeeper 至少 3 个，必须保证大于总数一半的Zookeeper 处在活跃可访问状态。MDC元数据控制软件，实现对分布式集群的状态控制，以及控制数据分布规则、数据重建规则等。一个系统至少部署 3 个MDC，形成 MDC 集群，系统启动时由 Zookeeper 集群在多个 MDC 中选举主MDC，主 MDC 对其它 MDC 进行监控， 主 MDC 故障时产生新的主 MDC。每个

58、资源池有一个归属MDC，当某池的归属 MDC 故障时，主 MDC 指定另外的MDC 托管这个资源池，一个 MDC 最多管理两个资源池。MDC 作为一个进程可以在每个存储节点启动，增加资源池会自动启动 MDC，一个系统最多启动 96 个 MDC。VBS虚拟块存储管理组件，执行卷元数据管理，VBS 通过 SCSI 或 iSCSI 接口提供分布式存储接入点服务，使计算资源能够通过 VBS 访问分布式存储资源。VBS 与其所能访问的资源池的所有OSD 点对点通信，使 VBS 能并发访问这些资源池的所有硬盘。每个节点上默认部署一个 VBS 进程，多个节点上的 VBS 形成 VBS 集群，VBS 启动时与

59、主 MDC 连接并协调主 VBS。节点上也可以通过部署多个 VBS 来提升 IO 性能。OSDKV 设备服务，执行具体的 I/O 操作。在每个节点上部署多个 OSD 进程，一块磁盘默认对应部署一个 OSD 进程。在SSD 卡作主存时，为了充分发挥 SSD 卡的性能，可以在 1 张 SSD 卡上部署多个OSD 进程进行管理，例如 2.4TB 的SSD 卡可以部署 6 个OSD 进程，每个 OSD 进程负责管理400GB。关键业务流程数据路由FusionCube 分布式存储数据路由采取分层处理方式：VBS 通过计算确定数据存放在哪个节点的哪块硬盘上。OSD 通过计算确定数据存放在硬盘的具体位置。具

60、体流程如下图所示：图4-3 FusionCube 分布式存储数据路由示意图系统初始化时，FusionCube 分布式存储将哈希空间（0232，实为资源池按 MB为单位的实际有效空间大小）划分为N 等份，每 1 等份是 1 个分区(Partition)，这N 等份按照硬盘数量进行均分。例如：二副本场景下，系统 N 默认为 3600，假设当前系统有 36 块硬盘，则每块硬盘承载 100 个分区。上述“分区-硬盘”的映射关系在系统初始化时会分配好，后续会随着系统中硬盘数量的变化进行调整。该映射表所需要的空间很小，FusionStorage 系统中的节点会在内存中保存该映射关系，用于进行快速路由。同时