Hadoop发展历程以及配套项目

Hadoop发展历程是怎样的呢?

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。

Hadoop最初只与网页索引有关，迅速发展成为分析大数据的领先平台。Cloudera是一家企业软件公司，该公司在2008年开始提供基于Hadoop的软件和服务。

GoGrid是一家云计算基础设施公司，在2012年，该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司，同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。

Apache Hadoop配套项目

Apache软件基金会维护着Hadoop的几个配套项目：

·Apache Cassandra是一款为大数据量场景设计的数据库管理系统。它的关键特性是容错、扩容、Hadoop集成性和复制支持。

·Hbase是非关系型的支持容错的分布式数据库，专为存储大量稀疏数据而设计。

·Hive是为Hadoop设计的数据仓库系统，支持简单数据汇总。

·Apache Pig由创建数据分析程序的高级语言组成，还包括评估那些应用程序的基础。

·Apache ZooKeeper是用于分布式应用的一款集中服务。它维护配置信息，并提供命名注册、分布式同步和组服务。

·Chukwa是一个数据收集系统，可以监控大型分布式系统，包括分析结果的一个工具包。

·Apache Mahout项目的目的是生成丰富的实现，在Hadoop平台，可扩展的机器学习算法。

声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。