英特尔推出了Apache Spark，为Hadoop集群带来了速度极高的内存内分析能力，从而将大规模数据集的处理周期由几小时成功缩短为几分钟。目前英特尔和优酷合作，帮助优酷将传统业务迁移到Spark上，优化大数据分析，分析时间从40个小时缩短到3个小时以下。
Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用 Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark提供了与Hadoop相似的开源集群计算环境，但基于内存和迭代优化的设计，Spark在某些工作负载表现更优秀。
9月18日，在长沙举办的第九届政企信息化策略研讨会中，来自英特尔的高级技术经理段建钢带来了“大数据技术发展剖析”的主题演讲。Hadoop改变了处理数据方式，但相较于Hadoop，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越。
英特尔的高级技术经理 段建钢
段建钢指出，当前很多人都在谈论大数据，但如何落地这是个问题，用户关心的往往是如何用大数据解决业务上的问题。而如何运用大数据就需要从底层基础设施，到上面数据平台、分析能力和解决方案，这一系列环节的优化。
英特尔推出了Apache Spark，为Hadoop集群带来了速度极高的内存内分析能力，从而将大规模数据集的处理周期由几小时成功缩短为几分钟。目前英特尔和优酷合作，帮助优酷将传统业务迁移到Spark上，优化大数据分析，分析时间从40个小时缩短到3个小时以下。
“Spark会成为下一代大数据的标准。”段建钢说道。未来英特尔将与技术界、学术界一起推动生态系统的发展。
声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。
