基于Hadoop和Spark的证券交易数据分析-上海证券交易所黄寅飞 证券交易数据属于典型的结构化数据,采用Sql on Hadoop[1]技术,既可用廉价PC服务器获得良好的容量线性扩展能力,又可提供便于统计分析的SQL接口方便数据应用开发。... 证券交易数据分析 Hadoop Spark 2018-03-05
关于Hadoop十个认识误区 本文总结Hadoop十个认识误区,帮助大家更好地理解和学习Hadoop。由于Hadoop本身是由并行运算架构(MapReduce)与分布式文件系统(HDFS)所组成,所以我们也看到很多研究... hadoop 2016-12-10
Linux下Hadoop2.6.0集群环境的搭建 本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。... Hadoop集群 2016-09-13
Hadoop2.6.0运行mapreduce之推断(speculative)执行(上) 在mapreduce中设计了Speculator接口作为推断执行的统一规范,DefaultSpeculator作为一种服务在实现了Speculator的同时继承了AbstractService,DefaultSpeculator是ma... Hadoop mapreduce 2016-09-13
测试hadoop集群是否安装成功(用jps命令和实例进行验证) 3节点hadoop集群的安装配置完成后,就是测试hadoop集群是否安装成功的方法,可以用jps命令和实例进行验证集群是否安装配置成功。... hadoop集群 2016-01-26
centos系统上hadoop安装配置超详细过程 四个节点上均是CentOS6.0系统,并且有一个相同的用户hadoop。Master机器主要配置NameNode和JobTracker的角色,负责总管分布式数据和分解任务的执行... hadoop安装配置 centos 2016-01-26
Ubuntu 12.04单机版环境中搭建hadoop详细教程 Ubuntu 12.04单机版环境中搭建hadoop详细教程,在Ubuntu下创建hadoop用户组和用,创建hadoop用户。... Ubuntu hadoop安装 2016-01-26
三节点hadoop集群配置和测试过程分享 三节点hadoop集群配置和测试过程分享,系统:Ubuntu12.04,java版本:JDK1.7,机器分配:一台master,两台slave。... hadoop集群 2016-01-26
如何成为Hadoop人才? 拥有Hadoop及其类似大数据工具,包括Cassandra、CouchDB、MongoDB以及Riak等等丰富使用经验同样会受到人才市场的热烈欢迎,以下关于Hadoop及相关专业知识的指导性意... Hadoop 2016-01-19
华为亮相Strata + Hadoop World 2015峰会:大数据驱动网络转型 由Cloudera 及O'Reilly主办的Strata + Hadoop World会议,是全球公认的最有影响力的大数据峰会,华为产品与解决方案CTO 李三琦做了主题为《Toward Big Data Driven N... Hadoop World 2015 2015-12-07
大数据处理两套解决方案 对于大数据处理两套解决方案,1、移动数据,把数据分发到多个计算节点进行计算;第一种是MPI,常用于科学计算,2、移动计算,将计算能力移到数据存储位置;Hadoop是第二种。... 大数据解决方案 2015-11-23
Gartner分析师关注中国大数据平台软件公司 Gartner在数据库和大数据领域的资深分析师Merv Adrian与Nick Heudecker向全球的客户正式介绍了国际Hadoop市场的新成员——来自中国的星环科技。... 星环科技 2015-10-23
SAP HANA Vora:向Hadoop生态圈注入HANA分析能力 SAP HANA Vora是一款全新的内存查询引擎,通过利用并延展Apache Spark运行框架,在Hadoop上提供更丰富的交互式分析功能。... SAP HANA Hadoop 2015-09-14
Hadoop的一些安装经验+关于命令窗口配置Linux(centos 7)的Ip地址和自启动网络 首先虚拟化几台机器,安装hadoop。在windows上使用xftp很方便地在多台机器之间传输文件。利用 putty 很方便的进行命令操作。... hadoop安装配置 2015-09-07
Hadoop集群日常运维工作及步骤 本文介绍Hadoop集群日常运维工作及步骤,namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。... Hadoop集群 系统运维 2015-08-10