Facebook近日在官方博客上宣布推出HBase数据库的升级版—— HydraBase, Facebook是HBase的重度用户,Facebook的HBase数据库系统存储着Facebook的很多关键业务数据,包括内部监控系统、搜索索引、流数据分析以及数据抓取等。HydraBase相比HBase稳定性和可用性更高,可以减少服务器宕机时间。
Facebook声称HydraBase能将Facebook全年的宕机时间缩减到不到5分钟。
在HBase系统中,数据分片存储于很多区域,如果某个区域服务器宕机,其域内数据都需要迁移到另外一个域服务器。Facebook指出,虽然HBase能够自动恢复,但是恢复时间过长。
HydraBase的典型部署模型
HydraBase能够让一个数据域分布在多个域服务器中,域服务器之间能相互备份,因此能够大大减少数据恢复所用的时间。Facebook声称HydraBase能将Facebook全年的宕机时间缩减到不到5分钟。
Facebook目前正在测试HydraBase,并计划在生产集群中逐步开始部署。 在HydraBase之外,Facebook还公布了HDFS RAID及其用于数据保护的纠错码技术细节,可以精简用Hadoop创建备份的集群数量。
去年Facebook首次在数据仓库集群中使用HDFS RAID技术,备份效率大大提升,节省了数以十PB计的数据存储空间。