/ 中存储网

搜狐网采用初志CZSS集群存储应对访问压力

2011-07-13 16:41:58 来源:中存储

搜狐的存储挑战

随着门户网站各项业务不断增多,为了跟上迅速增长的音视频、图片数据的存储需求,搜狐网需要构建一个能够在线扩展至支持更大容量、更高性能的存储平台,以支持每天数亿次PV的访问压力。而且由于网站服务连续性会极大的影响用户体验,所以存储系统的可靠性要求也非常高。

当数据呈爆炸性增长,存储系统如果没有灵活的可扩展性,数据的管理将会变的异常困难。每天所产生上百万个图片、音视频等大小不一的文件将会给存储系统带来非常大的压力。现有存储系统对高达上亿数量文件的检索速度往往难以令人满意,并且由于单目录下文件数量的限制,文件的管理也较为困难。以往为了提高应用对文件的访问效率,在前端配置一个稍大容量的缓存,但由于小文件的数量庞大,应用对这些文件访问的随机性极高,Cache 命中率非常低,结果导致应用需要直接到后端存储系统上读取数据,给存储系统带来了压力。

搜狐网的非结构化数据量庞大,并且随着相关内容不断丰富,数据量会是PB级。但是以往的存储方案不但构建成本较高,而且由于扩展能力和性能等局限,导致在规模较大时运维成本直线上升。互联网企业的运维成本在激烈的竞争环境里面至关重要,如何更好的控制成本也是搜狐网在选择存储解决方案时重点考虑的问题。

初志分布式文件系统CZSS特点

搜狐网对多家知名的存储和系统厂商的文件共享存储产品进行了评测,最终还是选择了初志科技的CzFS软件套件。对于门户网站类应用,CZSS具有如下特点:

  1.   基于通用的存储服务器硬件构建,控制成本支出
  2.   可灵活的在线扩展存储容量与性能
  3.   无需第三方软件,消除单点故障
  4.   使用CZSS构建分布式存储系统

搜狐网使用初志CZSS加上内置了大容量SATA硬盘的通用存储服务器构建了数百TB的分布式存储平台,为各种类型的应用提供一个大容量的文件共享存储。方案中每套初志系统使用了2台同时工作的元数据服务器节点,分别配合可灵活伸缩的存储节点集群。

搜狐网使用初志CZSS构建的海量文件共享存储平台不但构建成本低于原有的存储方案,而且可以随着业务需要灵活在线扩容,方便了应用的发展和系统运维。同时初志CzFS能够自动的探测发现节点或者硬盘损坏等故障,自动开始进行数据恢复等工作,方案能够最大程度减少搜狐网的运维工作量。

从性能方面来看,初志CZSS实现了数据读写能够在存储服务器集群之间高效的负载均衡,充分利用存储服务器和其内置SATA硬盘的性能。即使由于用户访问数据具有极大的不确定性导致请求完全穿过缓存从后端的存储系统上读写数据,初志分布式存储架构也能够轻松支撑巨大的访问量。

在线扩展

搜狐网使用初志CZSS不但能够轻松的支撑现有的访问压力,也以灵活的在线伸缩能力为业务发展打下良好基础。