必读!大数据:Hadoop,业务分析及更多(1) 翻译:Cady Wang(王楠楠)你想了解大数据,却对生涩的术语毫不知情?你想了解大数据的市场和应用,却又没有好的案例和解说?别担心,这本来自Wikibon社区的小书想要帮你。是的,这... Hadoop 2014-04-25
HPCC 和 Hadoop 的详细区别比较 硬件环境通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统,为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘,通过高速交换机相连(通常为... Hadoop教程 2014-04-24
角逐Hadoop市场,Cloudera与Hortonworks竞争白热化 近日,Hortonworks与数据应用平台开发商Concurrent正式建立了同盟关系,而作为Hortonworks强力竞争对手的Cloudera,为了争夺更多的Hadoop市场份额也开展了一系列计划,面... Hadoop部署 2014-04-24
Hadoop虚拟化的性能对比和调优经验 虚拟化为Hadoop注入了前所未有的活力,从IT生产管理的角度,表现为以下几点:·Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率... Hadoop实战 2014-04-18
网络环境的集成和优化 Hadoop助腾云驾雾 大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向,而忽略了大数据环境基础设置中网络... Hadoop教程 2014-04-17
AMD数据中心大改造:90%虚拟化,用Hadoop替代Oracle 行走在这幢几乎空置、洞穴样的大楼里,它看上去依旧像货车运输仓库一样,直到AMD公司在两年多前接手并将它改建成一个数据中心。尽管这幢面积达153000平方英尺的大楼... Hadoop部署 2014-04-17
Java线程池管理及分布式Hadoop调度框架搭建 多线程是程序员面试时常常会面对的问题,对多线程概念的掌握和理解水平,也常常被用来衡量一个人的编程实力。不错,普通的多线程已经不容易了,那么当多线程碰到“... Hadoop部署 2014-04-17
Hadoop分布式文件系统架构部署 Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平... Hadoop教程 系统架构 2014-04-16
Hadoop面试45个题目及答案 1.Hadoop集群可以运行的3个模式?单机(本地)模式伪分布式模式全分布式模式2. 单机(本地)模式中的注意点?在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JV... Hadoop安装 2014-04-16
生产环境Hadoop大集群完全分布式模式安装 Hadoop学习笔记之-生产环境Hadoop大集群配置安装安装环境操作平台:vmware2操作系统:Oracle Enterprise Linux 5.6软件版本:hadoop-0.22.0,jdk-6u18集群架构:3+ node,ma... Hadoop实战 2014-04-16
Hadoop完全分布式模式安装步骤 Hadoop模式介绍单机模式:安装简单,几乎不用作任何配置,但仅限于调试用途伪分布模式:在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary nam... Hadoop部署 2014-04-16
Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数 首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSch... Hadoop安装 2014-04-15
Hadoop YARN配置参数剖析(3)—MapReduce相关参数 MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认... Hadoop MapReduce 2014-04-15
Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数 注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。1. 权限相关配置参数这里的权限由三部... Hadoop 2014-04-15
MapReduce实现推荐系统 1.开发环境:Windows 2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见:http://www.linuxidc.com/Linux/2014-02/96528.htm2.Hadoop集群环境:O... Hadoop部署 MapReduce 2014-04-15
Hadoop YARN配置参数剖析(1)—RM与NM相关参数 注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。1. ResourceManager相关配置参数(1) yarn... Hadoop安装 2014-04-15
Hadoop YARN常见问题以及解决方案 本文汇总了几个hadoop yarn中常见问题以及解决方案,注意,本文介绍解决方案适用于hadoop 2.2.0以及以上版本。(1) 默认情况下,各个节点的负载不均衡(任务数目不同),有的节... Hadoop 2014-04-14
一个Hadoop难以查找的错误 一个Hadoop难以查找的错误This script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [Master132.Hadoop]... Hadoop部署 2014-04-14