星环发布支持Spark和Hadoop2大数据软件 本地大数据平台软件公司星环推出一款大数据平台产品Transwarp Data Hub,融合Apache Spark和Apache Hadoop 2.0,提供全面本地化的技术支持。... Hadoop部署 spark 2014-07-01
许鹏:从零开始学习,Apache Spark源码走读(三) Graphx是一些图的常用算法在Spark上的并行化实现,同时提供了丰富的API接口。本文就Graphx的代码架构及PageRank在Graphx中的具体实现做一个初步的学习。... Spark源码 2014-06-18
许鹏:从零开始学习,Apache Spark源码走读(一) 自2013年6月进入Apache孵化器,Spark已经有来自25个组织的120多位开发者参与贡献。而在不久前,更成为了Apache软件基金会的顶级项目,当下已是知名Hadoop开发商Clouder... Spark源码 2014-05-29
Cloudera首席战略官:取代MapReduce未来会加大Spark等框架投入 过去两年,Hadoop社区对MapReduce做了很多改进,但关键的改进只停留在了代码层,Spark作为MapReduce的替代品,发展很快,其拥有来自25个国家超过一百个贡献者,社区非常活跃,... MapReduce 2014-05-05
安全狗创始人陈奋:借助Hadoop与Spark,欲打造服务器上的360 安全狗是一家集服务器安全狗、网站安全狗、服务器安全管理云、安全狗云备份等服务器工具为一体的软件安全厂商。日前笔者有幸采访到了安全狗创始人陈奋,分享了安全... hadoop spark 比较 2014-05-04
王健宗:革命Hadoop Spark带来百亿市场价值 Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。... Hadoop部署 Hadoop spark 2014-04-19
倒计时!2014中国Spark技术峰会即将召开! 2014年4月19日,中国Spark技术峰会将在北京中关村软件园国际会议中心举办。本次峰会为国内外演讲者和参会者提供了一个技术和人文交流的平台,吸引了国内外相关技术领... spark技术峰会 2014-04-17
继Cloudera之后,MapR宣布对Spark的完全支持 日前知名Hadoop先锋MapR宣布了对Spark的支持,区别于Cloudera需要力挺自家的SQL-on-Hadoop项目Impala,MapR的支持将更加彻底,囊括了Shark等整个Spark技术堆栈。... Spark 2014-04-15
北森CTO张庆化:利用Spark实现数据驱动价值 在即将举行的“2014中国Spark技术峰会”上,北森公司技术团队将组团到场。CTO俱乐部会员、北森CTO张庆化最为关注的是Spark在实时数据计算以及实时数据分析方面的应... Spark实践分享 2014-04-11
孙元浩:基于Spark引擎的高速内存分析和挖掘工具应用 随着数据库中数据的不断增加,如何在大数据环境下进行数据分析和数据挖掘?孙元浩表示可以用Spark来解决这个问题,把Spark作为MR执行引擎内嵌在产品中,可以得到更快的性... Spark应用 2014-04-08
十大将拯救地球的开源硬件项目 有这样一大批的创客,怀揣着新鲜念头,不遗余力地从农业、生态、交通等各个领域开始了拯救世界、造福人类的行动。这篇文章总结了十大将拯救地球的开源硬件项目,与君共... 开源spark项目 2014-04-01
见证新一代全能大数据计算平台崛起——中国Spark技术峰会将于4月19日在北京召开 2014年4月19日,由CSDN和《程序员》杂志联合举办的“2014中国Spark技术峰会”(SparkSummitChina)将在北京召开,国内外ApacheSpark社区成员和企业用户将首次齐聚一堂。... spark技术峰会 2014-03-31
皮皮网陈超:易用与性能兼备,Spark蓬勃发展! Spark是下一代InMemoryMR计算框架,性能上有数量级提升,同时支持InteractiveQuery、流计算、图计算等。本次Spark峰会的演讲嘉宾陈超将在会上分享Spark的核心原理,并... Spark性能分析 2014-03-31
尹绪森:打开圈子拥抱变化,谈Spark玩家的自我修养 尹绪森谈到Spark吸引他的地方有三点:一是Spark技术之新;二是RDD实现之优雅;三是Scala编程之流畅。同时他表示Spark对于程序员,尤其是机器学习者来说,简直是福音一样的... Spark实践分享 2014-03-26
Spark独门秘籍:打造结构一体化、功能多元化的高效数据流水线 连城讲到,Spark作为一套用Scala写成的分布式内存计算系统,很好地结合了分布式系统和函数式语言,目前Spark的覆盖面已然相当广泛。他称Spark的独门秘籍便是“打造结构... Spark实践分享 2014-03-24
网易王健宗:革命Hadoop,Spark带来百亿市场价值! 王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非... hadoop spark 比较 2014-03-21
Spark Streaming:大规模流式数据处理的新贵 SparkStreaming是大规模流式数据处理的新贵,将流式计算分解成一系列短小的批处理作业。这篇文章阐释了SparkStreaming的架构及编程模型,并结合实践对其核心技术进行... Spark Streaming 2014-01-28
对比Hadoop,Spark受多方追捧的原因 当下,Spark已得到了多方追捧,基于MapReduce的分布式计算方法使Spark类似于Hadoop,却又比Hadoop的通用性更好,迭代运算效率更高,容错能力更强,未来的Spark将会是非常成功... hadoop spark 比较 2014-01-26