/ 中存储网

Hadoop发展历程以及配套项目

2014-03-27 00:00:00 来源:中存储

 

Hadoop

Hadoop发展历程是怎样的呢?

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。

Hadoop最初只与网页索引有关,迅速发展成为分析大数据的领先平台。Cloudera是一家企业软件公司,该公司在2008年开始提供基于Hadoop的软件和服务。

GoGrid是一家云计算基础设施公司,在2012年,该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司,同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。

Apache Hadoop配套项目

Apache软件基金会维护着Hadoop的几个配套项目:

·Apache Cassandra是一款为大数据量场景设计的数据库管理系统。它的关键特性是容错、扩容、Hadoop集成性和复制支持。

·Hbase是非关系型的支持容错的分布式数据库,专为存储大量稀疏数据而设计。

·Hive是为Hadoop设计的数据仓库系统,支持简单数据汇总。

·Apache Pig由创建数据分析程序的高级语言组成,还包括评估那些应用程序的基础。

·Apache ZooKeeper是用于分布式应用的一款集中服务。它维护配置信息,并提供命名注册、分布式同步和组服务。

·Chukwa是一个数据收集系统,可以监控大型分布式系统,包括分析结果的一个工具包。

·Apache Mahout项目的目的是生成丰富的实现,在Hadoop平台,可扩展的机器学习算法。