2014-08-29 11:03:00
来 源
中存储网
Spark
在Spark上,Hortonworks CTO Eric Baldeschwieler表示,Spark在不久的将来会取代Hadoop MapReduce,成为大数据生态圈内编写和分享算法的标准平台。

据Gigaom消息,Hortonworks已经将Apache Kafka加入其Hadoop软件平台的技术预览版中。对比Spark,Kafka的在流行度上可能稍有逊色,但是却被广泛运用于一些大型网络公司的应用架构中。Kafka最初是由LinkedIn设计的实时消息系统,当下已经被很多网络公司用于将Web应用消息快速传递到合适的数据服务中。

Kafka如何和其他服务整合

除了Kafka之外,Hortonworks已经分别整合了Spark与Storm。在2013年底,Hortonworks宣布在收到大量的客户请求后,Hortonworks决定开始将Sotrm流处理引擎整合到该公司的Hadoop产品中。考虑到Hadoop的批处理设计,这项工作确实有着重要的意义。Hortonworks产品副总裁Bob Page表示:“ Storm在近日成为Apache软件基金会的孵化项目后,已然值得Hortonworks投资。”

在Spark上,Hortonworks CTO Eric Baldeschwieler表示,Spark在不久的将来会取代Hadoop MapReduce,成为大数据生态圈内编写和分享算法的标准平台。

Eric在Spark Summit 2014上的讲义

当然,除了Hortonworks,其直接对手Cloudera及MapR也有类似的操作。但是区别就在于,Cloudera等产品方式偏向于许可付费,而Hortonworks更像增值付费——提供了产品的开源版本,但是如果部署过大以致机构无法独立完成,那么可以寻求付费版帮助。

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。