/ 中存储网

HP XP系列存储产品体系结构介绍

2013-05-02 21:08:29 来源:中存储
HP XP系列产品作为高端存储,拥有一个适合存储系统的、没有潜在瓶颈的、全光纤交换式和点对点直连相混合的统一星型网络体系架构Universal Star Network(USN),如下图所示。


图中CHA为前端通道控制器,DKA为后端磁盘控制器,SMA是控制缓存,CMA是数据缓存,CSW是内部缓存交换机。
HP XP系列产品的技术白皮书列举了USN统一星型网络体系结构拥有2项核心技术:
第一项:数据缓存读写采用全光纤交换式架构。
交换式体系结构又称CrossBar结构,是一种高带宽、大吞吐率和无阻塞的体系结构,已经广泛应用在IT行业、电信行业的高端设备上。不论是大型UNIX主机(HP Superdome、Sun Enterprise Server 25K、IBM P590等),以太网核心交换机(Cisco)、存储网核心交换机(如Brocade、McData以及Cisco SAN Director),甚至是电信交换机等均采用了无阻塞CrossBar技术作为其系统架构,这已经是业界发展的方向。
Cache是存储系统的核心部件,XP把整个系统的所有缓存Cache分为两个独立部分:数据缓存(如上图CMA所示)和控制缓存(上图SMA所示)。其中数据缓存用来存放服务器/主机读写的数据,控制缓存是用来存放数据缓存的索引(我们称之为metadata)以及系统通信数据的共享区的。存储系统把数据缓存在逻辑上分为若干个page(大小为4K,8K,16K等),每个page有一个线性地址(即page ID)。每次读写都是以page为单位进行,即使是只需要读一个byte,最后对缓存的读写也是以一个page进行的。
因此对于数据缓存来说,最重要的是需要持续的高带宽和大吞吐率,XP在数据缓存读写上采用交换式结构设计——这是真正的根据存储系统的特点而设计的。
o   XP24000从内部交换机到数据缓存设计有64路1.0625GB/s的通路连接起来,数据缓存共有68GB/s的带宽;
o   XP20000从内部交换机到数据缓存设计有8路1.0625GB/s的通路连接起来,数据缓存共有8.5GB/s的带宽;
 其次是控制缓存采用点对点直连技术。
如上文所述,控制缓存主要用来存放数据缓存的索引和共享通讯数据。其中数据缓存的索引是一张二元表,其数据结构如下:
某个数据块在磁盘数据卷上的地址 某个数据块在数据缓存上的地址
在微观上,服务器对存储的一次读写的详细过程如下:
业务软件读某个数据 > 数据库演变为读某个数据库表纪录 > 数据库底层演变为读某个逻辑卷的某个数据块 > 操作系统卷管理软件演变为读某个数据卷的某个数据块 > XP24000演变为某个LUN的某个page > XP24000在控制缓存中查找索引,判断是否该数据page在数据缓存中 。如果返回一个非0值,说明该数据在数据缓存中,这次读操作为读命中read hit;如果返回为一个0值,这说明此次操作为read miss,系统将在共享缓存中写入该数据块page ID,并通知后端磁盘控制器将数据块读入到数据缓存中。
 
XP任何一个操作,都需要访问控制缓存。而且对控制缓存的读写有如下特点:
o   每次对控制缓存的访问的数据量很小,一般就是一个长整数(即page ID);
o   读写并发度很高,因为一次数据读写可能导致多次控制缓存的读写;
o   控制缓存中还包含了大量存储控制器之间的通信数据,但每次访问的数据量都不大。
o   因此对控制缓存的技术要求是:控制器到控制缓存的通道要多,每条通道的带宽不必很宽。
XP就是遵循这个设计原则,对控制缓存的读写设计为点对点直连结构:
v  XP24000每个控制器(包括前后端控制器)都通过4路150MB/s的通路直接连接到每个控制缓存卡上,因此系统满配置32块控制器的情况下,一共设计有4*32*2=256路150MB/s的通路,整个带宽为38.4GB/s;
v  XP20000每个控制器都通过2路150MB/s的通路直接连接到每个控制缓存卡上,因此系统满配置8块控制器的情况下,一共设计有2*8*2=32路150MB/s的通路,整个带宽为4.8GB/s;
 结论
HP XP采用数据缓存交换式结构,控制缓存点对点直连结构是最符合存储系统对数据访问和管理的特点的,这种统一星型网络结构是最稳定和均衡、最先进和最高性能的体系架构。这是其他厂商所无法相比的。