九家Hadoop技术企业最值得关注
如果大家手中握有大量数据，那么接下来要做的就是选择一款理想的Hadoop发行版了。作为曾经仅仅为谷歌及雅虎等互联网帝国服务的旧日稀罕儿，如今这款大数据管理系统已经积累起极高的知名度与平民人气、并开始逐步走入寻常企业环境。促成这一现状的原因有二：其...
Hadoop安装
从火种到核心 浅析Hadoop大数据用户的演变
在Hadoop发展的8年时间里，我们看到一种“使用浪潮”——一代又一代用户在相同的时间和类似的环境下使用Hadoop。每一个在数据处理时使用了Hadoop的用户，都面临着类似的挑战，为了让一切正常运转，要么被迫协...
不得不用Hadoop进行大数据处理的五大理由
Joe Brightly身为Hadoop的超级粉丝，自己曾经在无数个场合承认自己热爱Hadoop来进行数据处理的理由，比如“可以处理PB级别的数据;可以扩展到数千个处理大量计算工作的节点;可以用非常灵活的方式存储和加载数据…&hell...
Hadoop的核心思想
Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗?事实上，确实装不下。比如，很多的电信通话记录就存储在很多台...
开源Hadoop发展迅猛 用户与厂商各取所需
就大数据的核心而言，Hadoop是一个用于有效存储和处理大数据的开源架构。多年来，开源初创公司Cloudera和Hortonworks在 Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地，但更多是通过与专业的H...
hadoop权威指南——IBM与AWS关键看啥？
Hadoop：不是选配而是发展趋势就大数据的核心而言，Hadoop是一个用于有效存储和处理大数据的开源架构。多年来，开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他一些公司也想在这个市场...
大数据时代你不得不了解的大数据处理工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字(如Oozie，ZooKeeper、Flume)。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10...
Hadoop MapReduce最常见的两种容错场景分析
本文将分析Hadoop MapReduce(包括MRv1和MRv2)的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理?另外一种是，作 业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Tas...
切勿妄谈Hadoop，以及4个数据管道打造实践
时至今日，大数据这个概念已充斥了整个IT界，各种“搭载”了大数据技术的产品，各种用于处理大数据工具更如雨后的春笋触目皆是。同时，如果某个产品还没抱上大数据的大腿，如果某个机构还没捣鼓过基于Hadoop、Spark、Impala、Stor...
Hortonworks再获1亿美元融资，Hadoop领域三足鼎立
对于Hadoop领域的人来说，不管是WhatsApp卖了190亿美元，还是91卖了19亿美元，亦或是红极一时的余额宝和微信红包等，都只是茶语饭后的谈资罢了，大家更关心的显然是大数据产业的现状以及Hadoop生态圈的发展情况。本次为大家分享的是Hadoop领域3...
企业大数据领域成为焦点，Hadoop二次开发投融资火爆
Hadoop 软件二次开发企业近期成为了投融资焦点。这不，Hortonworks 刚获得了1亿美元融资。也许 Hadoop软件 相关企业融资消息我们这两个星期已经看了太多，但还是有值得注意的点：Hortonworks 该轮融资领投者包括雅虎。而之前...
Hadoop：大数据解决方案的常胜将军
架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix...
大数据与Hadoop：并不能简单划等号
3月14日,IDC宣布近期发布《中国Hadoop MapReduce生态系统分析》报告，报告指出，在中国，Hadoop 应用正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主，...
大数据Hadoop解决方案
根据最新的Forrest报告，有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，探索对大数据的深入利用。下面是报告结论的其中一点：大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据...
MapReduce连接：重分区连接
MapReduce的连接操作可以用于以下场景：用户的人口统计信息的聚合操作（例如：青少年和中年人的习惯差异）。当用户超过一定时间没有使用网站后，发邮件提醒他们。（这个一定时间的阈值是用户自己预定义的）分析用户的浏览习惯。让系统可以基于这个分析提示用...
使用Windows Azure搭建Hadoop集群
项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算。作为微软的忠实粉丝，将CDH部署到Windows Azure的虚拟机中是我的必然选择。由于CDH中包含...
实战为王 梁堰波解SQL-on-Hadoop疑难杂症
2014年3月13日，CSDN在线培训第一期“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”圆满结束，本次培训讲师是来自美团网的梁堰波，在培训中梁堰波分享了目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案，...
IDC：大数据不等于Hadoop 中国Hadoop生态系统亟待完善
IDC近期发布的《中国Hadoop MapReduce生态系统分析》报告指出，在中国，Hadoop 应用正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主，但是Hadoop技术...
Hadoop1.2.1伪分布模式安装教程
一、硬件环境Hadoop搭建系统环境：一台Linux ubuntu-13.04-desktop-i386系统，既做Namenode，又做Datanode。（ubuntu系统搭建在硬件虚拟机上）Hadoop安装目标版本：Hadoop1.2.1jdk安...
淘宝主搜索离线集群完成Hadoop 2.0升级
搜索离线dump集群(hadoop&hbase)2013进行了几次重大升级：2013-04第一阶段，主要是升级hdfs为2.0版本，mapreduce仍旧是1.0;同时hbase也进行了一次重大升级（0.94.5版本），hive升级到0.9.0；2...
Hadoop之父Doug Cutting
生活中，可能所有人都间接用过他的作品，他是Lucene、Nutch 、Hadoop等项目的发起人。是他，把高深莫测的搜索技术形成产品，贡献给普罗大众；还是他，打造了目前在云计算和大数据领域里如日中天的Hadoop。他是某种意义上的盗火者，他就是Doug Cut...
用SQL-on-Hadoop构建互联网数据仓库与商务智能系统
大数据是现在非常热门的一个话题，SQL on Hadoop是目前大数据技术发展的一个重要方向，如何可以迅速的了解掌握这门技术，CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”，通过...
R语言为Hadoop注入统计血脉
R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展...
基于大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序...
腾讯大规模Hadoop集群实践
TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。TD...