/ 中存储网

让存储集群不再“曲高和寡”

2010-07-28 13:13:07 来源:IT168

互联网发展速度飞快,无论是互联网上Web页面数量,还是用户提交的搜索请求数量都爆炸式增长。但是Google搜索引擎却并没有因此而变得不堪重负,相反一直争取在0.5秒时间内处理完成用户请求,Google服务器系统已经成为高性能计算的一个成功典范。

实际上,Google的后台并没有用太多大型的高档的服务器,Google采用的存储方法是用最常见、最普通的一个PC机中带两个硬盘的存储方式。但是却应用了独有的集群方式使后台成为一个高效的、海量扩容的存储系统,如今,集群存储已被实践检验是有效的海量存储解决方法。在视频编辑、广电、地理勘探等海量数据处理环境中,担当了关键和重要的角色,例如2010年最火热大片《阿凡达》其后台数据处理平台同样也采用了集群存储的技术

集群不是简单堆积

九州初志科技有限公司总经理曾超告诉记者,说到集群,绝大多数用户大多会直接想到高性能计算集群或普通的服务器集群,这一方面说明计算集群目前影响范围之广,另一方面,也不得不说是对集群理解的局限。

集群(Cluster)的英文定义直译为“聚集或工作在一起的相同或相似的一组元素”,但我们常说到的各种集群系统并不是硬件机器的简单堆积,而是希望能将其聚合成在某些核心功能上更加强大的系统,从这个意义上讲,集群其实是我们身边非常常见的一个概念,比如“三个臭皮匠顶一个诸葛亮”就是集群理念在生活中的一个鲜活的实例。

对于大多数用户的应用环境,如果以高度集成的单一系统去满足用户快速膨胀的需求,将导致系统复杂度迅速提升从而带来成本上的大幅增加,同时系统的灵活性降低。而通过将多个系统松耦合集成的方式将可以降低成本,同时具有更强的扩展性。所以,使用集群理念解决用户的需求是计算机产品发展的一个重要趋势。

初志公司的产品采用了集群的核心技术,在业界开创了以数据存储动态排序的“栈群”检索技术,构建了CZSS大规模集群存储系统,为国内互联网、广电、能源、电子政务、区域超算平台、行业数据中心提供了独特的个性化、方案化的解决方案和有针对性的产品及软件研发。


九州初志集群系统架构图,拥有集群系统横向扩展的性能和扩展性优势,且元数据与数据采用了独立的通道,提高了检索效率

根据曾超先生的介绍,初志公司产品的优势包括:

1. Scale-out的扩展模式达到性能和容量的线性扩展,且扩展时无需停机操作,不需要人工干涉,即可达到系统的负载均衡和数据的自动迁移。


横向扩展技术使得性能和容量达到线性提升

2. 数据和元数据集群分离技术,能减少元数据操作与数据读写操作之间的互相干扰,提高海量数据的查找检索效率。


大多数用户环境中,元数据操作占文件系统总操作数的60%,九州初志公司的集群存储系统将元数据与数据分开独立存储管理,由专门的元数据服务器管理所有的元数据内容,减少元数据操作与数据读写操作之间的互相干扰

3. 全局文件数据冗余技术,消除系统内单点故障,并允许在一套系统中为不同应用的数据设置不同的冗余度,实现全系统规模快速数据恢复,据称恢复速度是RAID的5倍。

4. 向下完全兼容传统SAN设备及原有的应用。

完善的集群产品线

九州初志副总经理王超先生则介绍说,初志公司的集群存储产品分为四个系列,包括定位于工作组级的E系列、部门级的M系列、企业级的A系列和超高速应用的S系列。

E系列产品虽然号称工作组级产品,实际上容量也可达到10T-30T之间,但聚合带宽小于2GB/s,且节点数仅支持到3节点,适用于数据量较大的中小企业用户搭建基础集群系统架构。

M系列产品被定为为部门级产品,能满足企业用户50TB-200TB的容量需求,且聚合带宽达到1.2-10GB/s,节点数量也可从4节点扩展至25节点。适用于成长型企业为爆炸式增长的数据环境搭建随需扩展的存储系统。

企业级A级产品则能够满足企业300TB的容量需求,并达到10GB/s以上的聚合带宽,可实现高效的数据传输,适用于大型企业复杂多样的存储需求,并可构建多中心的大数据量级的整合应用。

超高速S级产品则定位于行业高端应用,可针对客户需求开发特殊的应用功能,面向以数据为核心价值的大型企业和机构应用及存储整合。

根据王超的介绍,九州初志的核心技术最早源自中科院计算所早先发起的技术课题,多名核心技术研发人员参加过曙光超级计算机设计、研制开发及建设,并拥有100%自主知识产权的集群存储技术,处于全球业界领先地位。尽管公司初始成立,但基于中科院研发项目运作的周期和时间已经较长,产品在国内用户实际应用环境中已经得到较为成熟的验证,包括新浪等知名互联网站以及某些行业用户已经成为初志的用户。

谈到九州初志在中国推广的策略,曾超表示,初志已经在国内的几个区域派驻了办事机构,广州、成都、西安、重庆,节后初志还将选择几个重点区域完成市场的开拓和布局,2010年三到四月份,九州初志将完成国内五个城市的产品巡展及用户推介活动,五月份将被初志定义为初志产品体验月。六月份,将正式推出云存储方面的产品。

在公司运营和人力资源策略上,初志则强调三功主义,意即用户的成功、员工的成功和企业的成功统一成一体,强调产品设计、营销策划都必须紧跟市场、紧跟用户,并为客户提供更多增值服务,力增尽快跃居所涉行业的三甲之列。

实际上,目前在集群市场的厂商虽然不少,但初志可说是第一家涉足集群领域的国产厂商。基于国产厂商快速反应和解决问题能力,快速的用户定制开发能力以及本地运行辅导能力,初志有信心将集群存储推向一个新的高度。