集群安装配置Hadoop详细图解
集群安装配置Hadoop集群节点：node4、node5、node6、node7、node8。具体架构：操作系统为：CentOS release 5.5 (Final)安装步骤一、创建Hadoop用户组。二、安装JDK。下...
Hadoop
优酷土豆单明辉—基于Hadoop平台下的视频推荐系统
2008年于中科院声学所获博士学位，主导了优酷土豆视频推荐支撑平台设计与开发，目前负责低延时、高并发的大数据应用支撑平台建设。从视频网站的分类来说，优酷土豆属于...
大数据与Hadoop之间的关系
个人汇总：hadoop ：Hadoop是一个能够对大量数据进行分布式处理的软件框架，它是一种技术的实现大数据：资料：我们都听过这个预测：到2020年，电子数据存储量将在2009年的基础...
应该在什么时候使用Hadoop
作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs有人问我，“你在大数据和Hadoop方面有多少经验?”我告诉他们，我一直在使用Hadoop，但是我处理的...
Hadoop技术一句话介绍
Hadoop 是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hiv...
4种常用压缩格式在Hadoop中的应用
目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同...
深度分析如何在Hadoop中控制Map的数量
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapp...
hadoop运行wordcount时的问题
我搭建好hadoop计算平台之后。(我觉得应该搭建好了，jps命令后显示的进程也是对的)master上jps:slave2上jps:slave1上jps:但是在我运行wordcount之后老是报如下错误...
Hadoop平台上Oozie调度系统的安装配置
OOZIE是Hadoop平台上的开源调度工具，在项目中使用OOZIE将近一年时间了，OOZIE的安装配置还是挺复杂的。为了使用起来方便顺手，需要进行很多配置。下面整理了一下OOZIE...
基于Hadoop平台的云存储应用实践
云计算(Cloud Computing)是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数...
Hadoop读写文件时内部工作机制是怎样的?
读文件读文件时内部工作机制参看下图：客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），Dis...
hadoop伪分布式安装方法
接触Hadoop也快两年了，也一直没自己总结过安装教程，最近又要用hadoop，需要自己搭建一个集群来进行试验，所以就利用这个机会来写个教程以备以后自己使用，也用来和大家一...
Hadoop中的一些基本操作
先粗略说一下“hadoop fs”和“hadoop dfs”的区别：fs是各比较抽象的层面，在分布式环境中，fs就是dfs，但在本地环境中，fs是local file system，这个...
Hadoop架构设计、运行原理详解
1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29...
基于Hadoop的大数据企业前十大集合
超人气Hadoop初创公司前两名这已经不再是什么秘密了，全球的数据正在以几何数字增长，借助这股数据浪潮在全球范围内迅速成长起来一大批Hadoop的初创型公司。作为Apac...
Hadoop 2.3.0解决了哪些问题
Hadoop 2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFS centralized cache management)。这个功能对于提升Hadoop系统和上层应用的执行效率与实时性有...
Hadoop：Windows 7 32 Bit 编译与运行
所需工具1.Windows 7 32 Bit OS(你懂的)2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz)3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz)3.JD...
使用Linux和Hadoop进行分布式计算
人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是 Apache 的 Hadoop，它是一个能够对海量数据进行...
