Hadoop架构设计、运行原理详解
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-0067011990...
hadoop
董西成：Hadoop将在高速发展和完善中扩大优势！
目前Hadoop发展迅猛，尤其是Hadoop 2.0出现后，HDFS和YARN两个系统均有多个重大特性得到了实现，进而推动了上层计算系统的发展，包括Tez的出现使得Hive和Pig有了更大的性能提升，出现了各种基于YARN的新型框架等。2014年05月20...
Hadoop与大数据不脱轨的十大秘诀
世界各地企业如今都在使用云服务，实施大数据分析驱动生态系统，对于IT经理和C级高管而言，保持进步是非常重要的。跟不上发展的速度，意味着失去客户的风险。它是企业生态链最基本的法则：适应还是被吃掉。IT系统帮助企业分析存储系统收集的数据，这非常有利...
必读！大数据：Hadoop，业务分析及更多（1）
翻译：Cady Wang（王楠楠）你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？别担心，这本来自Wikibon社区的小书想要帮你。是的，这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据...
SAS：多年分析经验让Hadoop更加强大
云计算、移动化、社交网络、大数据被公认为四大趋势，大数据则以挖掘数据中所蕴含的价值被大量用户所关注，随着大数据生态圈的形成和稳步发展，Hadoop已经成为大数据重要的平台。近日，在2014 SAS中国区用户大会上，SAS公司高层表示SAS希望利用多年在数据分析...
大数据应用之六个超大规模Hadoop部署案例一览
关注让Hadoop越来越火的实际应用案例，介绍6个非常典型的hadoop大数据解决方案及应用场景，包括ebay，facebook等公司的hadoop系统。...
AMD数据中心改造：90%虚拟化,Hadoop换Oracle
AMD在软件方面做出了巨大改变，例如将Oracle的关系数据库变为一个采用Apache Hadoop的系统，利用Apahce HDFS作为分布式文件系统的Apache HBase，还有其它Apache 基金会技术在皓龙处理器支持的Dell服务器上运行。...
王健宗：革命Hadoop Spark带来百亿市场价值
Spark作为一个通用的并行计算框架，已经成为继Hadoop之后又一大热门开源项目，逐渐获得很多企业的支持。...
Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数
注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1. 权限相关配置参数这里的权限由三部分组成，分别是：（1）管理员和普通用户如何区分 （2）服务级别的权限，比如哪些...
Hadoop YARN配置参数剖析(3)—MapReduce相关参数
MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注 意，如果用...
Hadoop YARN常见问题以及解决方案
本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。（1） 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢？...
Hadoop 平台在金融银行业的应用架构
Hadoop 平台在金融银行业的应用架构薛强彦一、金融银行业现状随着我国金融银行业的发展和网络通信基础设施水平的提高，金融银行业信息化已经逐渐普及，但是随着互联网技术和应用的飞速发展，许多新兴的支付方式不断涌现，金融银行业的数据信息量也在快速增长...
HDP新版本让Hadoop真正成为企业级数据平台
Hadoop欧洲地区峰会上，Hortonworks公布了Hortonworks Data Platform （HDP）2.1版本。这一Hadoop发行版的升级版本新增了数据治理、安全、流处理和搜索等新企业功能。...
如何使用Windows Azure搭建Hadoop集群
项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算。作为微软的忠实粉丝，将CDH部署到Windows Azure的虚拟机中是我的必然选择。由于CDH中包含...
Hadoop市场将在2020年前保持高速增长
根据联合市场调研（Allied Market Research，AMR）的一份最新报告，对Hadoop市场（硬件、软件、服务和HaaS、最终应用以及地理）行业发展趋势预测：2020年，全球的Hadoop市场预计在2013至2020年将以58.2%的复合年增长率...
思维转变：大数据不等于Hadoop
03月17日 北京消息：IDC近期发布的《中国Hadoop MapReduce生态系统分析》报告指出，在中国，Hadoop 应用正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为...
马全一：Docker，Hadoop的竞争者来了！
CSDN“开源技术大会·2014” （OSTC·2014）将于2014年3月30日在北京丽亭华苑酒店召开。我们将陆续发布参会讲师的系列采访，谈谈他们将在本次活动分享的内容。本期，我们采访的是Docker中...
如何为Hadoop集群配置合适的硬件
Hadoop的概念随着大数据时代浪潮的到来，已经变得不那么陌生，在实际应用中，如何为Hadoop集群选择合适的硬件成为很多人开始使用Hadoop的一个关键问题。在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工...
高薪必备：Hadoop求职者的6大攻略
大数据行业发展得越来越好，企业不惜重金聘请数据分析师，“学习Hadoop，找好工作不是梦想”的口号激励着无数同学投身大数据事业，然而就业却并不那么简单，“工作经验”无疑给寻求高薪工作的同学破了盆冷水，怎样解决经验...
企业使用Hadoop处理大数据的诀窍
作为大数据技术的典范，Hadoop一直为采用大数据的企业祝福并诅咒着。Hadoop功能强大，却非常复杂，这使得很多企业都宁愿等待更容易的东西问世，再推出大数据项目。 等待已经结束。Hadoop在稳步前进，来自诸如Hortonworks和Cloudera等厂商显...
为什么很多公司的大数据相关业务都基于 Hadoop 方案？
选择Hadoop的原因最重要的就是这三点：1，可以解决问题； 2，成本低 ； 3，成熟的生态圈。一，Hadoop帮助我们解决了什么问题无论国内还是国外的大公司对于数据都有着无穷无尽的渴望，都会想尽一切办法收集一切数据，因为通过信息的不对称性可以不断...
SAS将提供基于Hadoop的开创性大数据分析技术
全球领先的商业分析软件与服务供应商SAS公司正在开发一种基于SAS内存分析技术，并适用于开源框架Hadoop的交互式分析编程环境。新软件通过更快地挖掘大数据获取更精确商业洞察，帮助企业提升盈利、降低风险、增进对客户的了解以及创造更多商业成功的机会。SAS?...
Apace Twill：Hadoop俱乐部最新成员
Twill,原名为Weave，现在已经成为Apache Incubator项目的新成员之一，其设计目的在于简化应用程序在YARN/Hadoop中的运行。Hadoop如今已经成为一项引人注目的技术方案，这一点几乎已经没有疑问。该项目的成功随着其2.0版本的发...
Facebook专家：Hadoop不足以处理大数据
随着大数据在各个业务领域的发展和应用，相关的技术和工具也层出不穷，其中Hadoop框架受到更多的关注和应用。Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示，不要小看关系型数据库技术的价值。他认...
经验之谈之Hadoop的优势及应用
在当今的技术领域，大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度，Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop特别适合大数据处理任务，并且它可以利用其分布式的文件系统，可靠并且低成本的...