2018年6月全球超级计算机排行榜Top500名单中,有437台超算采用的是Cluster集群架构,另外63台采用的是MPP大规模并行处理架构。
在前十名中,有4台采用的是Cluster,6台采用的是MPP。
第一名,美国Summit超算采用的是Cluster,第二名中国太湖之光采用的是MPP架构。
那么超算系统采用Cluster和MPP架构各有什么什么特点?两者之间有什么区别?下面中存储网带您看下:
当前HPC的主要架构包括Cluster集群和MPP(大规模并行处理)两种。
Cluster集群架构是目前最广泛的超级计算机架构。
典型的HPC集群系统主要由五类计算(或网络)设备和三类网络组成。
五类设备主要是指管理节点及登录节点、计算节点、交换设备、I/O设备和存储设备。当前有很多高性能服务器都采用CPU+加速处理器异构的方式,因此有些集群系统还包括加速节点。
1)登录节点
登录节点相当于用户访问集群系统的网关。用户通常登录到此节点上编译并提交作业。由于登录节点是外部访问集群系统强大计算或存储能力的唯一入口,是整个系统的关键点。为了保证用户节点的高可用性,一般采用硬件冗余的容错方法,如采用双机热备份的方式,或者采用RAID(独立磁盘冗余阵列)技术保证用户节点的数据安全性。
登录节点一般对计算性能要求不高,整套集群根据需求配置数台机架式服务器即可。
2)管理节点
管理节点是集群系统各种管理措施的控制节点。
3)计算节点
整个集群的计算核心。有胖节点(多路)和瘦节点(双路)之分。
4)异构节点
通常异构节点同时使用CPU、GPU或MIC,可以大幅度提升计算效率。
5)交换设备
集群各节点之间需要通过网络连接在一起。
6)I/O设备和存储设备
存储数据和提高读/写带宽。
7)管理网络
用户管理节点和各计算节点、I/O节点的互连,所连接的机器就是集群内部的本地机器,所以不需要高带宽和低延迟,同时还可以容忍一定的过预订率。千兆网很适合。
8)计算网络
用于各计算节点的互连,是并行任务执行时的进程间通信的专用网络,并行计算的核心就是它和集群内其他节点交换信息的能力,通常称为IPC。
计算网络现在多用InfiniBand网络或者万兆以太网等。
9)存储网络
存储网络需要向HPC集群的节点提供数据访问服务。
有两种方法访问数据:一是数据由外部文件系统提供文件级别的访问,包括网络附属存储;二是数据块级别的访问,包括直连式存储或存储区域网络可以分别使用基于SCSI或SCSI RDMA协议的光纤通道或IB存储。
MPP是 Massively Parallel Processing的缩写。
MPP 是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。
总结:
在Cluster集群中,每台机器在内存,磁盘等方面基本上都独立于其他机器。它们在正常网络中使用一些变体进行互连。群集主要存在于程序员的脑海里,他/她如何选择分配工作。
在MPP大规模并行处理器中,实际上只有一台机器与数千个CPU紧密互连。MPP具有奇特的存储器架构,允许与相邻处理器进行极高速的中间结果交换。
主要的变体是SIMD(单指令多数据)和MIMD(多指令多数据)。在SIMD系统中,每个处理器同时执行相同的指令,仅在不同的内存位上执行。本质上,只有一个程序计数器。在MIMD机器中,每个CPU都有自己的PC。