Hadoop完全分布式环境搭建
一. 准备工作实验环境：Vmware虚拟出的3台主机，系统为CentOS_6.4_i386用到的软件：Hadoop-1.2.1-1.i386.rpm，jdk-7u9-linux-i586.rpm主机规划：IP地址 主机名...
Hadoop
Hadoop部署小脚本分享
最近抛弃非ssh连接的Hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本...
Hadoop从入门到精通之 如何从Hadoop1.x转到Hadoop2.x
Hello 大家好，我是stefan，今天来和大家分享下如何将Hadoop1.x迁移至Hadoop2.x。这篇博文提供了将Hadoop MapReduce应用从Hadoop1.x迁移到Hadoop2.x的方法。在2.x的...
hadoop处理不同的输入文件，文件关联
类型一： 一一对应file1：a 1b 2c 3file2：1 ！2 @3 #file1和file2进行关联，想要的结果：a !b @3 #思路：1、标记不同输入文件2、将file1的key、value颠倒 ；file1和file2的key相...
Hadoop虽大有裨益 但开源市场仍欠稳
一些金融分析师们对Teradata公司在IT市场上的持续发展能力提出了质疑。虽然这部分客户确实将Hadoop提上了议事日程，但如果拥有数十年历史的数据仓库供应商都认为难...
Hadoop连载系列之五：Hadoop命令行详解
1 Hadoop fs--------------------------------------------------------------------------------该hadoop子命令集执行的根目录是/home目录，本机上为/user...
Hadoop 使用 MapReduce 排序 思路
本文主要讲对key的排序，主要利用Hadoop的机制进行排序。1、Partitionpartition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。2、思...
Hadoop连载系列之四：Hadoop分布式文件系统HDFS
当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的...
如何使用Windows Azure搭建Hadoop集群
项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算。作为微软的忠实粉丝，将CDH部署到Windows Azure的虚拟...
Hadoop教程连载之二：Zookeeper分布式安装
1 概述Zookeeper分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理...
Hadoop教程连载之一：Hadoop集群的搭建
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,支持密集型分布式应用并以Apache2.0许可协议发布。Hadoop:以Hadoop分布式文件系统HDFS(Hadoop Distribut...
国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置
简介Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢...
Hadoop安装遇到各种异常以及解决方法
hadoop学习过程中，我们会遇到各种各样的问题，常见的有hadoop无法启动，集群不能正常工作，不停跳出报错信息等等，这里总结了常见的几个问题及除了方法，希望对大家有用。...
Hadoop基本操作命令大全
启动Hadoopstart-all.sh关闭HADOOPstop-all.sh查看文件列表查看hdfs中/user/admin/aaron目录下的文件。hadoop fs -ls /user/admin/aaron列出hdfs中/u...
Hadoop MapReduce最常见的两种容错场景分析
本文将分析Hadoop MapReduce(包括MRv1和MRv2)的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理?另外一种是，作 业的Map Task全部运...
