百度马如悦:用Scala编写Spark?Julia也行!
马如悦,百度大数据部主任架构师。大会召开前夕,笔者有幸采访到了马如悦,请他分享Palo在百度内部的应用实践。在他看来,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师。...
马如悦,百度大数据部主任架构师。大会召开前夕,笔者有幸采访到了马如悦,请他分享Palo在百度内部的应用实践。在他看来,不写代码的架构师都不是好的架构师,没有主导实际项目的架构师也不是好的架构师。...
世纪佳缘推荐和机器学习算法实践,世纪佳缘算法工程师杨鹏在CSDN人工智能用户群分享了“世纪佳缘推荐和机器学习算法实践”。他主要介绍了基于图算法产生候选集、排序算法的选择,以及建模过程中的一些经验心得。...
自2014年3月份跻身Apache顶级项目,Spark已得到了业内广泛的支持。然而,对于一个高速发展中的开源项目来说,Spark的生产环境使用无疑还面临诸多挑战。8月6日20:30,周小四将带大家学习基于Spark的技术实战。...
对一个媒体网站来讲,一个比较重要的任务就是获取用户对于不同类型文章的兴趣分布。用户的兴趣分布会被作为用户属性标签,和其他类型的标签(例如人口属性等)一起用作推荐的模型特征。...
7月30日,七牛数据平台工程师王团结就七牛内部使用的数据平台,深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验,并讲解了各个工具使用的注意点。...
广告和新闻推荐的共同和不同点:相同点,它们都可以视为都可看做一个点击率(ctr)估计的任务;不同点,推荐产生的点击率可能是广告的10到100倍,同时在特征描述上,广告通常细粒度特征,推荐对应的则是相对粗粒度。...
在昨日的CSDNSpark微信群中,数人科技创始人王璞与数人科技云平台负责人周伟涛就Mesos等主题进行了深入的分享,并在分享后与用户进行了40分钟的互动与交流。...
今晚,与四位大神的约会。TalkingData阎志涛,亚信田毅,AdMaster卢亿雷,SparkCommitter、MesosHadoopContributor夏俊鸾一起讨论YARNonSpark痛点与优化,YARN在Hadoop上的现状,以及Mesos应用现状和特性。...
Hive是基于Hadoop平台的数据仓库,已经成为Hadoop事实上的SQL引擎标准。相较于Impala、Shark等,Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。这里,将走进HiveonSpark世界。...
在实际生产环境,百度运行着1300台规模的单集群(包含数万核心和上百TB内存),公司内部同时还运行着大量的小型Spark集群。2015Spark技术峰会上,马小龙将分享Spark在百度的使用情况以及Spark在BMR中的支持情况。...
王联辉表示,早在2013年腾讯就开始使用Spark实现了广告模型的实时训练和更新,在2014年更将原有涉及迭代计算、图计算、DAG-MapReduce和HiveSQL等多种计算任务利用Spark来实现。...
最新消息,Databricks的Spark与UCSD的TritonSort两个系统在2014DaytonaGraySort比赛上并列第一。为了对比赛有更好的了解,笔者特采访了Databricks辛湜(ReynoldXin),并就Spark社区中的一些热门趋势进行探讨。...
为了方便更多国内开发者深入了解Spark技术,CSDNCODE计划组织人员翻译一系列Spark相关技术文档。我们首先推荐的是Spark主要开发者MateiZaharia的博士论文。...
在即将举行的“2014中国Spark技术峰会”上,北森公司技术团队将组团到场。CTO俱乐部会员、北森CTO张庆化最为关注的是Spark在实时数据计算以及实时数据分析方面的应用,并准备把Spark的技术引入到北森的技术体系中。...
尹绪森谈到Spark吸引他的地方有三点:一是Spark技术之新;二是RDD实现之优雅;三是Scala编程之流畅。同时他表示Spark对于程序员,尤其是机器学习者来说,简直是福音一样的存在。...
连城讲到,Spark作为一套用Scala写成的分布式内存计算系统,很好地结合了分布式系统和函数式语言,目前Spark的覆盖面已然相当广泛。他称Spark的独门秘籍便是“打造结构上一体化、功能上多元化的高效数据流水线。”...
Spark Summit邀请到了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名企业高管,分享Spark在企业内部的第一手实践。...
SparkSummit以Shark、SparkStreaming及相关项目为主题,汇聚了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名IT企业的一线专家。...
SparkSummit以Shark、SparkStreaming及相关项目为主题,汇聚了Yahoo、Adobe、Intel、Amazon、RedHat、Databricks等众多知名IT企业的一线专家。...
IonStoica是UCBerkeley计算机教授,AMPLab共同创始人,弹性P2P协议Chord、集群内存计算框架Spark、集群资源管理平台Mesos都出自他。CSDN与英特尔中国研究院首席工程师吴甘沙共同完成了对Ion的对话。...
来自AndreessenHorowitz的1400万美元投资,以及Cloudera在2013Strata+Hadoop大会抛出的重磅消息,使Databricks再次引起了业界关注。CSDN再次采访了Spark的核心成员、Databricks的联合创始人辛湜。...