关于spark的三个常见疑问解惑:
问:用yarn mesos standalone 这几种方式那种用在线上好?spark线上用什么版本好?
答:如果以前没有部署过其它的大数据集群,集群中的计算框架只有Spark,建议直接使用Standalone,简洁而高效,这样有利于获得最大化的集群执行效率;
如果集群中在运行Spark计算平台的同时还运行了Hadoop的MapReduce、Storm等其它框架,建议使用mesos或者yarn;
在中国建议使用Yarn,因为淘宝已经在生产环境下大规模的使用了Yarn,同时Yarn有非常的中文资料;
问:机器学习是不是需要很深的数学功底还是别人实现了 能运行跑起来就ok啦??
答:Spark的MLLib极大的简化了机器学习库的使用,如果只是简单的使用,不要数学功底,只需要按照官方的示例直接使用即可。
如果进行复制的算法实现,需要数学功底,例如线性代数、统计学等
问:请教下,如果目前应用主要是结构化数据的ORCALE,语言是PLSQL,转换到SPARKSQL是否难度很大,需要完全代码重写呢?
答:在实际生产环境下,数据和大数据系统是并行存在的,数据库一般直接负责线上交互,大数据系统负责数据分析、实时流处理、交互式查询等;
如果熟练使用PLSQL,可以轻而易举的掌握Spark SQL