WANdisco公司的首席技术官Jagane Sundar在今年的Hadoop峰会上表示:“为客户提供连续的可用性是WANdisco一直坚持的原则”,在theCUBE联合主持人John Furrier和 Dave Vellante对Sundar的现场采访中,他表示这个原则已经导致WANdisco在提出non-stop Hadoop之后,现在又有人提出non-stop HBase。
在谈论WANdisco给HBase带来哪些创新时,Sundar说,“最大的问题是regent 服务器故障。如果服务器发生故障,所有的regents必须移动到其他服务器。这一过程需要时间,WANDisco的解决方案是在三个不同的服务器上存储数据,如果一个regent服务器发生故障,不会对我们的系统造成影响。”
被问到一个企业级Hadoop需要具备哪些性能时, Sundar说道:“安全是我们最关心的问题。如果你有多个数据中心,而且正在拷贝你的数据到其他的数据中心,这会影响数据。解决方案是一个单独的HDFS,单点认证,这是企业安全Hadoop的第一步。”
Kelly,援引Wikibon最近的一项调查说,70%的Hadoop从业者都有将数据在多个数据中心传递的经历。Sundar解释说,WANdisco让这些部署像单点部署一样简单,他说:“问题在于大多数这些企业提供的服务再也不是局限于单个数据中心了。你需要的是你的数据可以连续不断地在所有数据中心获取。”
“企业级Hadoop必须持续可用、安全,让企业级用户像他们习惯于使用数据库那样使用大数据,企业目前面临的最大挑战是进入企业系统内的数据量将以指数的形式增加。”Sundar表示。
在谈到WANdisco与Hadoop市场上其他玩家的关系时,Sundar说:“我们基于开源Apache Hadoop,所以很容易让它运行在Cloudera 和Hortonworks以及其他发行版上。
在提及这个市场上的竞争者以及如何对待客户的话题时,Sundar表示:“我们不卖宗教,我们卖《圣经》,这是我们很早之前就决定的,我认为Cloudera和Hortonworks是这个市场上强大的玩家。”
至于未来,他说他看到的是一个百家争鸣、百花齐放的市场。Sundar解释说,有来自世界一百多家企业涌入开源创新。
在评论这一趋势将如何塑造未来的Apache Hadoop时,Sundar认为:“Linux世界和Hadoop环境是极其类似的。”
最后,被问及Cloudera和Hortonworks的区别时,Sundar认为Cloudera更关注企业本身,而Hortonworks更关注开源,这个领域将会有2个赢家。
原文链接:http://www.csdn.net/article/2014-06-12/2820193
Nutch集成slor的索引方法介绍? ?* 建立索引? ?* @param solrUrl solr的web地址? ?* @param crawlDb 爬取DB的存放路径:\crawl\crawldb
我们想了个办法:把海量数据分成小块,让一台机器处理一小块数据,所有的机器同时工作。最后把结 果汇总起来。这就是“并行计算”。hadoop中的MapReduce就是专门用来做分布式计算的并行处理框架。hadoop就是用来解决大数据的存储和计算的。
以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!MapReduce框架由一个Jobracker(通常简称JT)和数个TaskTracker(TT)组成(在cdh4中如果使用了Jobtracker HA特性,则会有2个Jobtracer,其中只有一个为active,另一个作为standby处于inactive状态)。JobTr
重谈下MapReduce框架中用户经常使用的一些接口或类的详细内容。了解这些会极大帮助你实现、配置和优化MR任务。当然javadoc中对每个class或接口都进行了更全面的陈述,这里只是一个指引教程。
hadoop常见问题解决:WARN mapred.LocalJobRunner: job_local910166057_0001o
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。