过去几年以来,市场对大数据相关技能的需求可谓迅猛增长,位于旧金山湾区的Riviera Partners公司技术招聘负责人Matt Andrieux指出。“我们的客户名单中大多数是初创公司,他们正在积极寻找各类有能力帮助他们以多种方式发挥数据价值、提升业务基准水平的工程技术人才,”Andrieux在邮件采访的回复中写道。“很多公司都会以自身业务为出发点对相关数据进行收集与分析,任何行业都能够借此获得收益。
Andrieux指出,推动这种繁荣趋势的因素并非Hadoop本身;相反,市场对于Hadoop及相关技能的旺盛需求实际只是近年来数据量不断增长所带来的副产品。“这股炒作之风的真正根源在于如今互联网上由用户及设备所引发的非结构化数据爆炸式增长,”Andrieux解释道。“非结构化数据当中蕴藏着巨大价值,但我们几乎不可能利用SQL等上一代主流检索技术对其进行梳理。Hadoop及其大数据生态系统中的同类工具能为工程技术人员提供帮助,从而从非结构化数据当中提取出结构化数据、并以大规模分布式视角准确判断出有价值的业务潜力。
拥有Hadoop及其类似大数据工具,包括Cassandra、CouchDB、MongoDB以及Riak等等丰富使用经验同样会受到人才市场的热烈欢迎,Andrieux指出。
在我们的请求下,Andrieux结合自身对当前IT专业人才招聘市场的感受与理解,给出了以下关于Hadoop及相关专业知识的指导性意见。
1. 菜鸟难出头,经验最可贵
当我们问起Andrieux的客户们通常会对Hadoop技术人才提出哪些要求时,他的回应是“经验越丰富越好。”抱歉了,菜鸟同志们,但现实就是这么残酷。即使是理论知识最丰富的技术人员,也很可能在实际操作过程中遭遇困境——好在大家有多种途径帮助自己积累经验。
另一方面,如果各位确实拥有必要的从业经验,那么也需要以适当的方式将其展示出来。“我们的初创企业客户一直在寻找那些能够进入生产环境并直接实现工作成果的工程技术人才,”Andrieux表示。“仅仅有所接触还不够,只有真正参与过大规模环境实施流程的竞聘者才会成为首选。
2. 如何积累经验
对于年轻的或者经验丰富但希望在新技术方面有所突破的IT专业人士们来说,Andrieux提供了两项建议:首先参加专业培训并获得资质认证,第二是经常参加所在地的技术从业者聚会活动。
“对于想要半路出家、学习Hadoop相关技能的朋友,我建议大家首先接受专业的Hadoop培训、并拿下Cloudera以及Hortonworks等厂商所提供的资质认证,”Andrieux建议道。“这些培训课程能够为工程技术人员带来真实环境下的经验,而且通常能够借此与业界专家进行直接交流。
当地行业组织则提供了另一种帮助大家获取知识以及交流机遇的途径。“举例来说,湾区附近的很多聚会组织会每周、每月定期安排活动,邀请在各个技术领域拥有丰富经验的思想领袖分享他们的建议以及最佳实践。在类活动上新人们能够获得绝佳的人脉拓展机遇,同时也能释放大家在工程技术方面的探讨热情。
3. 了解招聘工作中的术语
在简历、自我介绍以及其它应聘材料中使用特定表述乃至术语,能够帮助大家顺利获得Hadoop相关技能招聘人员以及决策者的注意。Andrieux列举了以下三种最为突出的优秀措辞实例:设计并建立大规模可扩展分布式数据存储、系统及通道,带领实施Hadoop集群中的某节点以及从头开始进行创建工作。
4. Hadoop职位并不一定会在标题中包含“Hadoop”字样
如果大家目前正在寻找此类工作机会,那么搜索范围不应该设置得过窄——请记住,大数据相关工作往往会以多种形式进行描述。“我们曾经看到过数据工程师甚至是后端工程师这样的岗位设置表达,”Andrieux表示。
5. 始终紧跟技术发展步伐
Andrieux指出,Hadoop是一种相对年轻的技术方案,整个大数据行业的发展历史也不算长。有鉴于此,如果大家正在规划或者已经开始着手实施自己的大数据职业发展路线,那么关注趋势、掌握变化将成为非常重要的先决条件。
请密切留心Strata以及Hadoop峰会等数据会议。“它们相当于大数据业界中指示哪些方案可行、哪些方案将遭到淘汰的风向标,而且将有大量企业在这些会议上作出发言,”Andrieux解释道。“跟踪博客更新、观看主题演讲,行业领导者们往往会通过网络将这些资源与我们共享。另外,要勇于同招聘人员深入沟通、了解对方在技能组合方面的要求。与公众相比,我们对于趋势发展的视角显然更为超前。
6.请记住:Hadoop并非大数据领域的惟一重点
Hadoop依旧热门,这一点毫无疑问;不过请注意Andrieux所提出的另一个早期观点:在数据规模爆炸式增长的时代背景下,Hadoop绝不是具备市场需求的惟一平台或者技能目标。“Hadoop绝不是市场解决数据需求时的惟一备选方案,”Andrieux指出。“我们应当了解其它各类服务,并通过交流掌握他人是否乐于使用这些服务、其具体优缺点又有哪些。
XSKY开发了基于对象存储XEOS的专用Hadoop HDFS高性能客户端XSKY HDFS Client。
原先支持Hadoop的四大商业机构纷纷宣布支持Spark,包含知名Hadoop解决方案供应商Cloudera和知名的Hadoop供应商MapR。
证券交易数据属于典型的结构化数据,采用Sql on Hadoop[1]技术,既可用廉价PC服务器获得良好的容量线性扩展能力,又可提供便于统计分析的SQL接口方便数据应用开发。
本文总结Hadoop十个认识误区,帮助大家更好地理解和学习Hadoop。由于Hadoop本身是由并行运算架构(MapReduce)与分布式文件系统(HDFS)所组成,所以我们也看到很多研究机构或教育单位,开始尝试把部分原本执行在HPC 或Grid上面的任务
数据产生后,意味着数据的采集工作已经完成,那么数据的输入与有效输出问题怎么破解?
【聚焦搜索,数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启!
本次大会上,紫晶存储董事、总经理钟国裕作为公司代表,与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移,为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信,通过本次合作,能够使双方进一步提升技术实力、提升产品品质及服务质量,为客户创造更大价值。