关于spark的三个常见疑问解惑

关于spark的三个常见疑问解惑：

问：用yarn  mesos  standalone   这几种方式那种用在线上好？spark线上用什么版本好？

答：如果以前没有部署过其它的大数据集群，集群中的计算框架只有Spark，建议直接使用Standalone，简洁而高效，这样有利于获得最大化的集群执行效率；

如果集群中在运行Spark计算平台的同时还运行了Hadoop的MapReduce、Storm等其它框架，建议使用mesos或者yarn；

在中国建议使用Yarn，因为淘宝已经在生产环境下大规模的使用了Yarn，同时Yarn有非常的中文资料；

问：机器学习是不是需要很深的数学功底还是别人实现了 能运行跑起来就ok啦？？

答：Spark的MLLib极大的简化了机器学习库的使用，如果只是简单的使用，不要数学功底，只需要按照官方的示例直接使用即可。

如果进行复制的算法实现，需要数学功底，例如线性代数、统计学等

问：请教下，如果目前应用主要是结构化数据的ORCALE，语言是PLSQL，转换到SPARKSQL是否难度很大，需要完全代码重写呢？

答：在实际生产环境下，数据和大数据系统是并行存在的，数据库一般直接负责线上交互，大数据系统负责数据分析、实时流处理、交互式查询等；

如果熟练使用PLSQL，可以轻而易举的掌握Spark SQL

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。