Hadoop集群

怎么为大数据处理构建高性能Hadoop集群

越来越多的企业开始使用Hadoop来对大数据进行处理分析，但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。而在这篇文章中，我们将探讨如何为Hadoop集群构建高性能网络，这是对大数据进行处理分析的关键所在。关于Hadoop...

Hadoop实战 Hadoop集群 Hadoop

深入研究Hadoop集群和网络

Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。Client机器集合了Hadoop上所有的集群设置，但既不包括主节点也不包括从节点。取而代之的是客户端机器的作用是把数据加载到集群中，递交给Map Reduce数据处理工作的描述，并在工作结束...

Hadoop集群 HDFS Hadoop

hadoop集群环境搭建

hadoop集群规划1.1 共有A、B、C 三台机器;1.2 A 作为master,B作为slave1,C作为slave2;1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;1.创建 hadoop用户，并使该用户拥有root权限（在master机器上进行）...

Hadoop安装 Hadoop集群 Hadoop

Hadoop集群环境下的网络架构的设计与优化

大数据时代，研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向，而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。大数据...

Hadoop部署 Hadoop集群 大数据

如何为Hadoop集群配置合适的硬件

Hadoop的概念随着大数据时代浪潮的到来，已经变得不那么陌生，在实际应用中，如何为Hadoop集群选择合适的硬件成为很多人开始使用Hadoop的一个关键问题。在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工...

Hadoop Hadoop集群 Hadoop

腾讯大规模Hadoop集群实践

TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。TD...

Hadoop安装 Hadoop集群 大数据

浅谈大规模Hadoop集群自动化部署与运维

Hadoop的整个的生态系统，并不是所见即所得的东西。基本上大多数的软件都是运行在命令行的状态下的。所以对于很多用户来说，他们无法去使用，即使是我们自己内部，互联网公司内部的人来说，让他们在命令行里打东西，比如搞产品，搞运营的人，让他们这样做是不太现实的事...

Hadoop 大数据 Hadoop集群 Hadoop

跨机房的hadoop集群

这是来自于阿里技术嘉年华的一个分享，因为在百度也考虑过类似的事情，所以听得比较有感悟，这里把相关内容整理一下。首先尊重版权，还是把原链接和作者贴上：http://adc.alibabatech.org/carnival/history/schedule...

Hadoop实战 Hadoop集群 Hadoop