Hadoop 是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。 MapReduce是Google提出的一种算法，用于超大型数
Hadoop 是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。
MapReduce 是Google提出的一种算法，用于超大型数据集的并行运算。它是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。
Pig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。
Chukwa 是基于Hadoop集群中监控系统，可以用他来分析和收集系统中的数据(日志)
Hive 是DataWareHouse 和 Map Reduce交集，适用于ETL方面的工作
HBase 是一个面向列的分布式数据库。
HDFS 可以支持千万级的大型分布式文件系统。
Zookeeper 提供的功能包括：配置维护、名字服务、分布式同步、组服务等，用于分布式系统的可靠协调系统。
Avro 是一个数据序列化系统，设计用于支持大批量数据交换的应用
Sqoop 是一个可以将关系型数据库中的数据导入到Hadoop文件系统(HDFS）中的工具 。例如 Mysql的数据向Hive/HBase迁移。支持 Hsqldb、MySQL、Oracle、PostgreSQL等。
声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。
