Spark Windows 调试环境搭建教程
Spark Windows 调试环境搭建教程，1、安装Scala。（建议2.10.2版本），完成后，在windows命令行中输入scala，检查是否识别此命令。...
Spark
QingCloud周小四：Spark学习简谈
自2014年3月份跻身Apache顶级项目，Spark已得到业内广泛的支持。然而，对于一个高速发展中的开源项目来说，Spark的生产环境使用无疑还面临诸多挑战。8月6日晚的微信群...
微信深度分享预告：QingCloud周小四分享Spark技术基础
自2014年3月份跻身Apache顶级项目，Spark已得到了业内广泛的支持。然而，对于一个高速发展中的开源项目来说，Spark的生产环境使用无疑还面临诸多挑战。8月6日20:30，周小...
李滔：搜狐基于Spark的新闻和广告推荐实战
对一个媒体网站来讲，一个比较重要的任务就是获取用户对于不同类型文章的兴趣分布。用户的兴趣分布会被作为用户属性标签，和其他类型的标签（例如人口属性等）一起用作推...
王团结：七牛是如何搞定每天500亿条日志的
7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。...
微信深度分享预告：李滔谈搜狐Spark广告推荐实战
广告和新闻推荐的共同和不同点：相同点，它们都可以视为都可看做一个点击率(ctr)估计的任务；不同点，推荐产生的点击率可能是广告的10到100倍，同时在特征描述上，广告通常细...
王团结与你聊Hadoop/Spark在七牛数据平台的实战
作为一家提供存储服务的机构，七牛需要强大的数据平台来支撑其运营数据，其主要业务包括：公司基础运营数据分析、运维需求信息提取，以及为开发和技术支持工作提供信息支...
在Apache Spark上跑Logistic Regression算法
在这篇文章中，你将看到ApacheSpark可以用于机器学习的任务，如logisticregression。虽然这只是非分布式的单机环境的Scalashelldemo，但是Spark的真正强大在于分布式下...
基于LLVM的内存计算
内存计算引擎相对于传统数据处理引擎，最大的革新是基于LLVM编译器的动态代码生成技术，这篇文章将介绍现在的产品和技术是如何使用LLVM编译器来动态生成执行代码的，从...
Spark与Flink：对比与分析
Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个节点上，可以被并行操作。而Flink是可扩...
新的可视化帮助更好地了解Spark Streaming应用程序
日前，在Spark1.4.0中新推出了可视化功能，用以更好的了解Spark应用程序的行为。Spark贡献者TathagataDas、ShixiongZhu和AndrewOr又撰文重点介绍为理解SparkStreamin...
快速了解Scala技术栈
若要了解Scala技术栈，并快速学习这些框架，一个好的方法是下载typesafe推出的Activator。它提供了相对富足的基于Scala以及Scala主流框架的开发模板，这其中实则还隐含...
Scala最近的红火也得益于Spark分布式内存计算平台的兴起，由于其惊人的计算速度，Spark将要革命Hadoop的说法尘嚣日上....Mesos资源调度与管理的深入分享与交流
在昨日的CSDNSpark微信群中，数人科技创始人王璞与数人科技云平台负责人周伟涛就Mesos等主题进行了深入的分享，并在分享后与用户进行了40分钟的互动与交流。...
以往SparkUI一直是用户应用程序调试的帮手。而在最新的Spark1.4版本中，一个新的因素被注入到SparkUI——数据可视化。...
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，这篇文章主要分享的也是这两方面内容。...YARN & Mesos，论集群资源管理所面临的挑战
一场基于YARN和Mesos的讨论，主要说说Spark on YARN的实践挑战。Mesos在spark 0.8版本的时候就有了，和standalone差不多一起诞生，YARN差不多到1.0才可用。...
Apache Spark 1.4 发布，开源集群计算系统
Apache Spark 1.4 发布，该版本将 R API 引入 Spark，Spark core 有多各方面的改进，主要集中在操作，性能和兼容性上。...
