全球大数据时代进行时,从2012年美国奥巴马政府宣布了“大数据研发计划”,到2015年我国国务院印发促进大数据发展行动纲要;从Google后Hadoop时代的“三驾马车”Caffeine、Pregel、Dremel影响着全球大数据技术发展,到业内普遍认为MPP与Hadoop形成混搭架构平台是支撑大数据分析应用的最佳方案;从过去一年中国大数据市场已达到百亿元的市场规模,到未来三年仍然保持着40%的高速增长率,大数据已然开辟出国家治理的新路径,改变人们的生活方式,引发IT行业巨大的技术变革。回顾2015年,大数据基础设施的重要性不言而喻,而数据库作为基础软件核心,为大数据分析应用提供技术支撑,在大数据领域持续创造长期价值。
过去三十年数据库的发展已经形成了以Oracle、IBM、Microsoft等为代表的强势垄断格局。然而面对大数据引发的需求,传统数据库在处理百TB以上、特别是PB级数据的查询、统计、分析等应用时,遇到性能上的瓶颈。世界数据库格局在发生革命性的变化,通用数据库OldSQL一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。国产数据库厂商南大通用,已在项目中洞悉到用户对多源异构海量规模数据的处理需求,预判到大数据的到来,早在2008年就启动了分析型数据库Gbase 8a产品的设计与研发。恰逢曾担任Oracle法国公司高级数据库专家12年的武新博士回国发展事业,出任南大通用CTO,由此肩负起Gbase 8a总设计师的重任。Gbase 8a诞生时起步早、起点高、累计投入研发资金超过2亿元,作为专用架构的数据库产品新品类,在大数据来临之际凭借成熟的商用级水平抢占了市场先机。2015年是Gbase 8a高速发展的一年,随着南大通用CTO武新对Gbase 8a过去一年的回顾,我们可以体会到与世界技术同步、市场同级的国产新型数据库历经了怎样不平凡之路。
从未止步的产品优化与技术突破
Gbase 8a从2010年4月1日发布第一个单机版,产品历时8年精进演变,不断进行新技术突破和产品优化。武新总结到Gbase 8a在2015年主要发布了三个大的版本,与产品自身相比,v8.5.11.4更加增强可靠性;v8.5.11.5的性能相比上一版本提升了一倍;v8.6从MPP架构变迁为联邦架构,实现了“追加写”的在线扩容,批量“写”的性能提升1倍,单个集群支持数量从192节点提升至300节点。产品取得这样的成果背后,是1000+人月的研发投入,13类新功能的丰富,65万行新代码的编写,超过400份4800页文档的输出。这些数字在武新看来,正是南大通用人为Gbase 8a获得用户认可而作出的扎实基本功课。
国产数据库在向着关键行业核心应用的道路上破冰前行,数据库的质量是关键。武新进一步介绍到南大通用在使用传统人工测试,积累了上万例测试用例的基础上,打造出国内领先的数据库自动化测试平台,通过自动化的方式对Gbase 8a进行覆盖性测试。自动化测试平台可以自动生成海量用例模拟用户的全部输入和全部可能出现的场景,从而实现对产品无死角的全方位覆盖测试。基于严格高效健全的测试体系,Gbase 8a更是具备快速迭代的能力,最快可实现3天发版,真正做到快速响应一线用户的需求。
混搭架构共同支撑大数据应用
Gbase 8a的集群形态是基于MPP技术架构的。提及MPP与Hadoop在处理大数据时的关系,武新解答了大数据时代初期普遍存在的认知误区。Hadoop并非是解决大数据分析的唯一技术方案。武新对行业环境的变化深有体会,他讲到南大通用至少在三年前就开始提出行业大数据的概念,大数据并非只是互联网的产物,行业大数据的应用并不比互联网少。当前业界主流的思路是,MPP存储高价值密度数据,用于进行数据分析和挖掘;Hadoop存储低价值密度数据,用于基础数据存储、数据清洗和简单分类查询。国际厂商已经推出了这种融合架构的平台化产品,如EMC的Pivotal、HP的HAVEn。Gbase 8a MPP集群已在金融、电信等众多高端行业的应用中与Hadoop产品混搭部署、相互融合,形成了支撑大数据应用的整体解决方案。南大通用也推出了融合架构的大数据统一处理平台产品Gbase UP,即UnifIEd Platform。武新肯定的表示,南大通用在数据库研究的领先性上,已经实现了与国际主流厂商技术同步、市场同级的目标。
优异的市场表现离不开用户的信任支持
说起市场表现,武新介绍:目前,Gbase 8a已经成功进入电信、银行、保险、电力、公安、安全、海关、税务、社保、财政、卫计、食药监、统计、海洋、军工等行业,其中在电信行业成功覆盖三大运营商16个省份。Gbase 8a市场份额在新一代MPP中占据第一。作为软件产品,其产品质量要在不断的应用部署中走向成熟,Gbase 8a的快速成长同样也离不开用户的信任与支持,可以说军功章有南大通用的一半也有用户的一半。说到此处武新又兴奋地举了个实例,中国农业银行使用Gbase 8a替换国外产品Sybase,突破了扩展能力瓶颈。数据处理能力提升了100倍,数据处理级别也从TB提升到PB。通过引进大数据处理技术,农行历史上第一次有了总行级别的数据仓库,经营视野也从分行级别扩展至全行,并成为四大国有银行中首家在金融核心系统中完成国产化替代,实现国产金融大数据平台方案成功落地的银行。而Gbase 8a在农行项目中也不断进步,完成了多次质的飞跃,目前在建项目完成后集群总规模将达到400节点以上。Gbase 8a从该项目上线至今,系统每天处理6000个以上的复杂作业,每天数据处理增量超过2TB,系统最大的表已超过1000亿行,每天增量10亿条。武新由衷地表示,仅以这几个数据为例就可以看出Gbase 8a已成为真正令人自豪的世界级数据库!
在对数据库要求甚高的电信行业,Gbase 8a击败了众多对手,成为唯一通过中国移动集团“集中经分”POC测试的国产MPP数据库,其他通过测试的国外产品仅有Greenplum、Vertica。武新简要描述了一下中移动集中经分测试规模:120个计算节点、30个加载节点,800TB裸数据,最大表36000亿行数据,最小表8亿行数据。他表示就是这样的高难度动作,Gbase 8a也能完成得相当漂亮,并入围三甲。2015年Gbase 8a在证监、人社、海关、电信等四大行业31个项目POC测试中击败国外竞争对手,获得业内良好口碑,同时也终结了国产数据库无法支撑行业核心业务系统的时代,让用户有了更多的选择。
仅2015年,Gbase 8a就实现了在中国联通、中国电信、银监会、公安部、国税总局、海关总署等重点行业用户的大数据处理平台中提供支撑,项目累计上线1019个节点,数据处理总量超过5PB。武新自豪地表示,这些数据力证Gbase 8a与国外产品在技术上已经达到同步,甚至在支持数据规模和系统并发能力上已局部领先。
志在摘取大数据基础软件设施中的明珠
数据如能源,数据安全是关键,支撑大数据存储和计算的数据库是大数据基础软件设施中的“明珠”,南大通用志在摘取这颗明珠。今年南大通用成为第一家挂牌新三板,进入资本市场的国产数据库厂商,南大通用将继续加大产品研发、产品测试、应用迁移、适配优化等方面的成本投入,专注力量发展数据库业务,志在通过不懈努力摘取大数据基础软件设施中的“明珠”。谈起与国际数据库的竞争形势时武新说,在大数据分析领域,Gbase 8a已经战胜Oracle、IBM、微软等老牌数据库巨头,并在与HP、EMC等数据库新贵的PK中屡屡获胜,让业界重新燃起了对国产数据库的希望,也让南大通用人为之骄傲和自豪。
产品、服务、合作蓄势发力
展望2016年的发展规划,武新表示将继续聚焦在产品、服务、合作模式上发力。他将带领研发团队攻关Gbase 8a虚拟集群这一新的产品应用形态。Gbase 8a虚拟集群能够进行分层管理,支持跨数据中心的部署,多数据中心分层进行管理,各数据中心按照需求及规模创建独立的子集群。面对超大规模集群的元数据管理、通讯模型、跨异构集群的访问等关键技术带来的挑战,南大通用人已做好了封闭攻关的准备,为早日攻下1000节点的超大规模集群目标而奋斗。Gbase 8a之所以能在金融、电信、政务等高端行业项目中频传捷报,除了可与国际主流数据库比肩的产品以外,优质的配套服务也是关键。武新谈到,南大通用将进一步扩大技术支持服务队伍,加固已经形成的三横三纵一环的技术体系,持续高效响应用户需求,以解决方案为依托,加强产品价值营销。Gbase 8a需要在健全的生态环境中发展壮大,并且离不开合作伙伴的助力。南大通用拓展公司新业务模式,已与东华软件、华三通信、方正等公司形成深度合作,其中不乏趋近千万规模的合作形式。
汇聚人才、技术、产业发展的力量,南大通用人将继续秉承匠心精神,精益打磨Gbase 8a这颗大数据基础软件设施中的“明珠”,支撑国家大数据战略落地,为用户提供多一种高端产品选择,推动国内大数据产业向前发展。
声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。