MapReduce连接：重分区连接
MapReduce的连接操作可以用于以下场景：用户的人口统计信息的聚合操作（例如：青少年和中年人的习惯差异）。当用户超过一定时间没有使用网站后，发邮件提醒他们。（这个一定...
Hadoop
Hadoop部署常用的小脚本
最近抛弃非ssh连接的Hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本...
实战为王 梁堰波解SQL-on-Hadoop疑难杂症
2014年3月13日，CSDN在线培训第一期“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”圆满结束，本次培训讲师是来自美团网的梁堰波，在培训中梁堰波分享...
Hadoop系统如何应对实时任务避免延迟？
在Apache Hadoop的起步阶段，主要支持类似搜索引擎的功能。如今，Hadoop已经被数十个行业采用，它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售...
使用Windows Azure搭建Hadoop集群
项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算。作为微软的忠实粉丝，将CDH部署到Windows Azure的虚拟...
Hadoop1.2.1伪分布模式安装教程
一、硬件环境Hadoop搭建系统环境：一台Linux ubuntu-13.04-desktop-i386系统，既做Namenode，又做Datanode。（ubuntu系统搭建在硬件虚拟机上）Hadoop安装目标版本：Hadoop1.2...
如何为Hadoop集群配置合适的硬件
Hadoop的概念随着大数据时代浪潮的到来，已经变得不那么陌生，在实际应用中，如何为Hadoop集群选择合适的硬件成为很多人开始使用Hadoop的一个关键问题。在过去，大数据处...
利用Hadoop Streaming处理二进制格式文件
Hadoop Streaming是Hadoop提供的多语言编程工具，用户可以使用自己擅长的编程语言（比如python、php或C#等）编写Mapper和Reducer处理文本数据。Hadoop Streaming自带了...
为Hadoop存储层增加对OpenStack Swift的支持
在 Hadoop 中有一个抽象文件系统的概念，它有多个不同的子类实现，由 DistributedFileSystem 类代表的 HDFS 便是其中之一。在 Hadoop 的 1.x 版本中，HDFS 存在 NameNo...
Hadoop关于处理大量小文件的问题和解决方法
小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。...
看Netflix是如何良性融合AWS和Apache Hadoop的！
近日，Netflix大数据平台架构经理Jeff Magnusson就他们的数据平台即服务（Data Platform as a Service）做了演讲。跟随这个演讲的线索，我们试图进一步解释技术堆栈是如...
2014的12个大数据趋势：Hadoop继续升温，R将进入主流
当下，“大数据”已成为2013年最火的技术词汇之一；而在过去一年，这个市场的增速和改变也不可谓不大。同时，我们还看到了Hadoop及其生态系统的使用门槛从顶尖...
数据控使用Hadoop的三种最常用方式
就在几周前，Apache Hadoop 2.0正式发布，这是 Hadoop领域巨大的里程碑，因为它开启了史无前例的数据存储方式革命。Hadoop保留它典型的“大数据”基础技术，但...
Hadoop——处理大数据的宠儿
驱动大数据增长的主要因素包括移动设备和社交网络的大幅度增长、以往纸质文件的数字化以及科研数据的增长。“他们的存档文件正在高速增长，因为他们并不清楚...
大数据应用：Hadoop冲锋陷阵
如今，大数据已经成为时代的主题，企业对大数据的应用也愈加深入，随着大数据的普及，有很多大数据的观念需要被质疑，首先一点就是人们普遍认为你可以简单地利用Hadoop，并且...
十八款Hadoop工具帮你驯服大数据
Hadoop已经通过自身的蓬勃发展证明，它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不，这与它的潜能相比简直微不足道。这套核心的价值已经被广泛证...
Facebook专家：Hadoop不足以处理大数据
随着大数据在各个业务领域的发展和应用，相关的技术和工具也层出不穷，其中Hadoop框架受到更多的关注和应用。Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+...
Hadoop迈入2.0时代 更适合企业应用
“现在是企业应用Hadoop的最佳时机。”Hortonworks公司首席技术官Jeff Markham在11月底举行的2013中国Hadoop技术峰会上演讲时表示。在本次峰会上，Hadoo...
