/ 中存储网

传国内最大Hadoop集群阿里云梯即将下线

2014-03-20 00:00:00 来源:中存储

Hadoop,大数据

据阿里巴巴员工罗李在微博上透露:阿里云梯,这个国内最大Hadoop集群,下线已经进入倒计时。此消息一出,引发业界一片哗然。

罗李,花名鬼厉,是阿里“云梯”集群的元老级创立者,也是阿里分布式计算团队的第一批员工,长期从事分布式存储和hadoop系统的研究和开发。 对于自己一手创建的阿里云梯的哑然而止,罗李在微博上显得非常沉痛。

阿里云梯,即阿里巴巴的Hadoop集群,是处理阿里巴巴海量数据存储与计算的系统。其计算模块已经进化到了Hadoop Yarn,能支持MapReduce、Spark、MPI、RHive、RHadoop等多个计算模型。阿里云梯,可谓是代表了阿里数据平台的一个时代。

停了如此庞大而有价值的阿里云梯项目,阿里打算拿什么取代呢?既声势浩大的去IOE之后,阿里难道打算去Hadoop?

据传,阿里确实深受现有Hadoop版本之苦,由于不是Hadoop项目管理委员会的成员,Hadoop开源社区的发展并不受阿里的控制和影响,这使得阿里不能很好地定制Hadoop,在研发上受制颇多。

但是,Hadoop目前已经是大数据分布式平台的主流选择,如果说去IOE可以认为是传统IT向互联网转型的必然,去Hadoop?听上去并不现实。

据小编了解,阿里云梯有两个版本,被停掉的是云梯1,底层为Hadoop,而云梯2的底层为阿里自主研发的飞天分布式平台。事实上,阿里巴巴早在2008年,就已经组建了飞天项目。

另据微博网友@vinW透露,云梯2用C++重写并改良的hadoop,在性能上超出云梯1,而且拥有更多的自主知识产权。

如此看来,云梯2恐怕会成为阿里数据平台的主力,作为一家有野心的互联网公司,阿里巴巴做出这样的技术路线选择虽在意料之外,却也在情理之中。