/ 中存储网

Sort Benchmark开计算奥运会 阿里云破了四个世界纪录!

2015-10-31 22:34:59 来源:中存储

10月28日,Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。

阿里云飞天分布式计算系统在其含金量最高的两项比赛中,打破全部四项世界纪录。

其中,阿里云用时不到7分钟(377秒)完成100TB的数据排序,将Apache Spark的纪录23.4分钟快了三倍。

What's Sort Benchmark

Sort Benchmark是一个专门从事排序基准评估的非盈利机构。

该机构每年都会举办一次排序基准评估比赛,被誉为计算界的奥运会。

所以,很多公司和学术机构都会带着他们最新的研究成果来参加这个比赛,以评估他们的研究成果。

该机构的排序基准评估比赛的主办和管理主要都是由Jim Gray来负责。他是数据库界的超级牛人、1998年图灵奖获得者。

2007年Jim Gray海上失踪后,该机构由他过去的同僚和历届比赛冠军组成的委员会接班管理。

阿里云破四项世界纪录

Sort Benchmark的排序竞赛包含4项比赛,其中GraySort和MinuteSort主要评测计算系统的规模和效率,是4项比赛中含金量最高的两项。

每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。

阿里云飞天分布式计算系统,在这两项重量级测试中打破了全部4项世界纪录。

其中,GraySort通用目的排序测评,阿里云飞天成绩是377秒,也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。

MinuteSort通用目的排序测评中,阿里云飞天的速度为7.7TB/分钟,去年冠军三星的速度为3.7TB/分钟。

阿里云的计算能力

排序是最基础的数据算法,能够反映平台的整体计算性能。

100TB排序,是把1万亿条无规律的100字节纪录,严格按照从小到大的顺序排序。

GraySort和MinuteSort这两类测试,充分证明了阿里云在计算方面的核心能力。

阿里云首席架构师唐洪表示,“未来视频、音频数据、生物数据等非结构化数据将爆发式增长,我们需要在最短的时间、用最小的资源计算准确。面对大数据,如何算得快、算得准、算得起?这是未来云计算的核心能力。”  

Top Results
  Daytona Indy
Gray

2015, 15.9 TB/min

FuxiSort

100 TB in 377 seconds 
3,134 nodes x (2 Xeon E5-2630 2.30Ghz, 
96 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
+ 243 nodes x (2 Xeon E5-2650v2 2.60Ghz, 
128 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
Jiamang Wang, Yongjun Wu, Hua Cai, Zhipeng Tang, Zhiqiang Lv, 
Bin Lu, Yangyu Tao, Chao Li, Jingren Zhou, Hong Tang 
Alibaba Group Inc

2015, 18.2 TB/min

FuxiSort

100 TB in 329 seconds 
3,134 nodes x (2 Xeon E5-2630 2.30Ghz, 
96 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
+ 243 nodes x (2 Xeon E5-2650v2 2.60Ghz, 
128 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
Jiamang Wang, Yongjun Wu, Hua Cai, Zhipeng Tang, Zhiqiang Lv, 
Bin Lu, Yangyu Tao, Chao Li, Jingren Zhou, Hong Tang 
Alibaba Group Inc

Cloud

2014, $4.51 / TB

TritonSort

100 TB for $451 
330 Amazon EC2 r3.4xlarge nodes x 
(16 vCores - 2.50Ghz Intel Xeon E5-2670 v2, 122 GB memory, 320GB SSD, 8x135GB EBS gp2) 
Michael Conley, Amin Vahdat, 
George Porter 
University of California, San Diego

2014, $4.51 / TB

TritonSort

100 TB for $451 
330 Amazon EC2 r3.4xlarge nodes x 
(16 vCores - 2.50Ghz Intel Xeon E5-2670 v2, 122 GB memory, 320GB SSD, 8x135GB EBS gp2) 
Michael Conley, Amin Vahdat, 
George Porter 
University of California, San Diego

Minute

2015, 7.7 TB

FuxiSort

3,134 nodes x (2 Xeon E5-2630 2.30Ghz, 
96 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
+ 243 nodes x (2 Xeon E5-2650v2 2.60Ghz, 
128 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
Jiamang Wang, Yongjun Wu, Hua Cai, Zhipeng Tang, Zhiqiang Lv, 
Bin Lu, Yangyu Tao, Chao Li, Jingren Zhou, Hong Tang 
Alibaba Group Inc

2015, 11 TB

FuxiSort

3,134 nodes x (2 Xeon E5-2630 2.30Ghz, 
96 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
+ 243 nodes x (2 Xeon E5-2650v2 2.60Ghz, 
128 GB memory, 12x2 TB SATA HD, 10 Gb/s Ethernet) 
Jiamang Wang, Yongjun Wu, Hua Cai, Zhipeng Tang, Zhiqiang Lv, 
Bin Lu, Yangyu Tao, Chao Li, Jingren Zhou, Hong Tang 
Alibaba Group Inc

Joule 
108 recs 
(deprecated)

2013, 889 Joules

NTOSort

112,545 records sorted / joule 
Lenovo X220, 2.8 Ghz Intel i5-2640M, 16GB RAM, Nsort, Windows 8, 
1 OCZ 120GB mSATA Nocti SSD, 2 Samsung 840 Pro 256GB SSDs 
Andreas Ebert 
Microsoft

2013, 889 Joules

NTOSort

112,545 records sorted / joule 
Lenovo X220, 2.8 Ghz Intel i5-2640M, 16GB RAM, Nsort, Windows 8, 
1 OCZ 120GB mSATA Nocti SSD, 2 Samsung 840 Pro 256GB SSDs 
Andreas Ebert 
Microsoft

Joule 
109 recs 
(deprecated)

2013, 12,092 Joules

NTOSort

82,697 records sorted / joule 
Lenovo X220, 2.8 Ghz Intel i5-2640M, 16GB RAM, Nsort, Windows 8, 
1 OCZ 120GB mSATA Nocti SSD, 2 Samsung 840 Pro 256GB SSDs 
Andreas Ebert 
Microsoft

2013, 12,092 Joules

NTOSort

82,697 records sorted / joule 
Lenovo X220, 2.8 Ghz Intel i5-2640M, 16GB RAM, Nsort, Windows 8, 
1 OCZ 120GB mSATA Nocti SSD, 2 Samsung 840 Pro 256GB SSDs 
Andreas Ebert 
Microsoft

Joule 
1010 recs

2013, 168,242 Joules

NTOSort

59,444 records sorted / joule 
Intel i7-3770K, 16GB RAM, Nsort, Windows 8, 
16 Samsung 840 Pro 256GB SSDs, 1 Samsung 840 Pro 128GB SSD 
Andreas Ebert 
Microsoft

2013, 168,242 Joules

NTOSort

59,444 records sorted / joule 
Intel i7-3770K, 16GB RAM, Nsort, Windows 8, 
16 Samsung 840 Pro 256GB SSDs, 1 Samsung 840 Pro 128GB SSD 
Andreas Ebert 
Microsoft

Joule 
1012 recs 
(deprecated)

2011, 132 MJoules

TritonSort

7,595 records sorted / joule 
52 nodes x 
(2 Quadcore processors, 24 GB memory, 16x500GB disks) 
Cisco Nexus 5096 switch 
Alex Rasmussen, Michael Conley, 
George Porter, Amin Vahdat, 
University of California, San Diego

2011, 103 MJoules

TritonSort

9,700 records sorted / joule 
52 nodes x 
(2 Quadcore processors, 24 GB memory, 16x500GB disks) 
Cisco Nexus 5096 switch 
Alex Rasmussen, Michael Conley, 
George Porter, Amin Vahdat, 
University of California, San Diego

Penny 
(deprecated)

2011, 286 GB

psort

2.7 Ghz AMD Sempron, 4 GB RAM, 
5x320 GB 7200 RPM Samsung SpinPoint F4 HD332GJ, Linux 
Paolo Bertasi, Federica Bogo, Marco Bressan and Enoch Peserico 
Univ. Padova, Italy

2011, 334 GB

psort

2.7 Ghz AMD Sempron, 4 GB RAM, 
5x320 GB 7200 RPM Samsung SpinPoint F4 HD332GJ, Linux 
Paolo Bertasi, Federica Bogo, Marco Bressan and Enoch Peserico 
Univ. Padova, Italy