10月28日,Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。
阿里云飞天分布式计算系统在其含金量最高的两项比赛中,打破全部四项世界纪录。
其中,阿里云用时不到7分钟(377秒)完成100TB的数据排序,将Apache Spark的纪录23.4分钟快了三倍。
What's Sort Benchmark
Sort Benchmark是一个专门从事排序基准评估的非盈利机构。
该机构每年都会举办一次排序基准评估比赛,被誉为计算界的奥运会。
所以,很多公司和学术机构都会带着他们最新的研究成果来参加这个比赛,以评估他们的研究成果。
该机构的排序基准评估比赛的主办和管理主要都是由Jim Gray来负责。他是数据库界的超级牛人、1998年图灵奖获得者。
2007年Jim Gray海上失踪后,该机构由他过去的同僚和历届比赛冠军组成的委员会接班管理。
阿里云破四项世界纪录
Sort Benchmark的排序竞赛包含4项比赛,其中GraySort和MinuteSort主要评测计算系统的规模和效率,是4项比赛中含金量最高的两项。
每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。
阿里云飞天分布式计算系统,在这两项重量级测试中打破了全部4项世界纪录。
其中,GraySort通用目的排序测评,阿里云飞天成绩是377秒,也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。
MinuteSort通用目的排序测评中,阿里云飞天的速度为7.7TB/分钟,去年冠军三星的速度为3.7TB/分钟。
阿里云的计算能力
排序是最基础的数据算法,能够反映平台的整体计算性能。
100TB排序,是把1万亿条无规律的100字节纪录,严格按照从小到大的顺序排序。
GraySort和MinuteSort这两类测试,充分证明了阿里云在计算方面的核心能力。
阿里云首席架构师唐洪表示,“未来视频、音频数据、生物数据等非结构化数据将爆发式增长,我们需要在最短的时间、用最小的资源计算准确。面对大数据,如何算得快、算得准、算得起?这是未来云计算的核心能力。”
Daytona | Indy | |
---|---|---|
Gray |
2015, 15.9 TB/min 100 TB in 377 seconds |
2015, 18.2 TB/min 100 TB in 329 seconds |
Cloud |
2014, $4.51 / TB 100 TB for $451 |
2014, $4.51 / TB 100 TB for $451 |
Minute |
2015, 7.7 TB 3,134 nodes x (2 Xeon E5-2630 2.30Ghz, |
2015, 11 TB 3,134 nodes x (2 Xeon E5-2630 2.30Ghz, |
Joule 108 recs (deprecated) |
2013, 889 Joules 112,545 records sorted / joule |
2013, 889 Joules 112,545 records sorted / joule |
Joule 109 recs (deprecated) |
2013, 12,092 Joules 82,697 records sorted / joule |
2013, 12,092 Joules 82,697 records sorted / joule |
Joule 1010 recs |
2013, 168,242 Joules 59,444 records sorted / joule |
2013, 168,242 Joules 59,444 records sorted / joule |
Joule 1012 recs (deprecated) |
2011, 132 MJoules 7,595 records sorted / joule |
2011, 103 MJoules 9,700 records sorted / joule |
Penny (deprecated) |
2011, 286 GB 2.7 Ghz AMD Sempron, 4 GB RAM, |
2011, 334 GB 2.7 Ghz AMD Sempron, 4 GB RAM, |