2015年4月16-18日,由CSDN主办、CSDN专家顾问团支持的 OpenCloud 2015大会将在北京国家会议中心拉开帷幕。为期三天的大会,以推进行业应用中的云计算核心技术发展为主旨,聚焦技术创新与应用实践,设置了“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大技术峰会及多场深度行业实战培训。
本次大会将邀请近40位国内外云计算技术领域顶尖专家与一线实践者,深入讨论OpenStack、Spark、Docker、Kubernetes等开源技术的最新进展,各个核心项目/组件的演进趋势,以及它们的最新业界应用。
在“2015 Spark技术峰会”,我们邀请到了百度资深软件工程师马小龙担任演讲嘉宾, 他将带来的分享主题为《Spark在百度的工程实践分享 》,主要讲述Spark在百度的使用情况以及Spark在BMR中的支持情况。
马小龙
百度资深软件工程师
2008年毕业于清华大学自动化系,先后就职于Yahoo和Zynga等公司,在Yahoo!北研参与搜索广告系统的优化,获得Yahoo! You Rock奖项;在Zynga中国参与游戏服务器性能优化,提升游戏服务器性能超过60%,所用技术方案被Zynga各大游戏广泛采用,获得CTO Award奖项;2012年底加入百度,目前在百度基础架构部从事大数据处理相关产品的研发工作。
以下为CSDN针对马小龙的会前采访实录:
CSDN:首先请介绍下您自己,以及您在Spark 技术方面所做的工作。
马小龙:我叫马小龙,目前在百度基础架构部做大数据处理平台,我主要关注Spark在公有云环境下的使用、优化。
CSDN:您所在的企业是如何使用Spark 技术的?带来了哪些好处?
马小龙:我们主要结合业务需求来对Spark进行优化,带来的好处是作业的处理速度有明显提升。
CSDN:您认为Spark 技术最适用于哪些应用场景?
马小龙:我个人认为Spark比较适合有迭代需求的大规模作业,比如机器学习等领域。
CSDN:企业在应用Spark 技术时,需要做哪些改变吗?企业如果想快速应用Spark 应该如何去做?
马小龙:Spark和现有的Hadoop生态整合得很好,所以数据方面没有迁移成本,但是业务算法需要重新实现,因此建议先评估现有的业务是否适合放在Spark上,然后再做迁移。企业如果想快速应用Spark,可以选择BMR,BMR提供了Spark镜像,可快速按需创建Spark集群:)
CSDN:您所在的企业在应用Spark 技术时遇到了哪些问题?是如何解决的?
马小龙: 主要是需要和企业现有的生态打通,需要做一些适配工作。
CSDN:作为当前流行的大数据处理技术,您认为Spark 还有哪些方面需要改进?
马小龙: Spark目前的发展势头很好,可以在稳定性方面逐渐改进。
CSDN:您在本次演讲中将分享哪些话题?
马小龙: 主要分享Spark在百度的使用情况以及Spark在BMR中的支持情况。
CSDN:哪些听众最应该了解这些话题?您所分享的主题可以帮助听众解决哪些问题?
马小龙:
对Spark感兴趣的用户都可以了解一下。BMR中的Spark有助于听众快速使用Spark集群。
除了马小龙,2015 Spark技术峰会已经邀请Spark Streaming负责人Tathagata Das来华,和国内用户分享Spark的技术细节,探讨Spark未来的发展方向,此外还有Databricks、IBM、Intel、微软、百度、阿里、腾讯、亚信等公司的Spark技术实践者,也将同台分享Spark及其相关项目的实战经验。
附:2015 Spark技术峰会全日程(Updating)
“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会” 4月17-18日在北京召开。日程全部公开! OpenCloud 2015,懂行的人都在这里!更多讲师和日程信息请关注OpenCloud 2015介绍和官网。