数据质量保证是一门学科,专注于确保数据状况良好,适合用于现有的业务运营和新兴的数字化企业场景。作为一门学科,数据质量保证涵盖的不仅仅是技术,它还涵盖以下方面:
-
项目管理
-
角色和组织结构
-
业务流程的使用场合
-
监控、衡量、报告和缓解数据质量问题的流程
-
通过专门针对数据质量的政策,与更广泛的信息治理活动联系起来。
但是,考虑到大大小小、各行各业的企业组织面临的数据格局具有的规模和复杂性,有助于让这门学科的关键部分实现自动化的工具继续吸引更多企业的关注,而且价值越来越大。因而,数据质量工具市场继续显示出收入迅猛增长的势头,2015年增幅达到13.54%,相比之下企业软件市场在同期的平均收入增长率只有9.07%。
数据质量工具的市场定义在2016年有了更新,以体现新兴的周边技术发展和这个市场越来越成熟共同带来的市场动向。数据质量工具市场包括提供独立软件产品以满足这个领域核心功能需求的厂商,这些功能需求包括如下:
-
数据剖析、衡量和可视化:分析数据,以捕获让业务用户和IT用户分析并深入了解数据质量的统计数据(元数据),并帮助识别和了解数据质量问题。
-
分析和标准化:基于行业标准、本地标准(比如地址数据的邮政当局标准)、用户定义的业务规则,以及数据值和模式组成的知识库,使用众多技术或方法(包括机器学习),将文本字段和内容分解并转换成组成部分,并对数据值进行格式化,处理成一致的布局。
-
广义的“清洗”:改动数据值,以满足特定领域限制、完整性限制或定义数据质量何时对企业组织来说足够好的其他业务规则。
-
匹配:使用众多技术或方法(包括机器学习),识别、联系或合并相关数据集内部或之间的数据项。
-
监控:部署控制机制,确保数据(静态数据和流式数据)继续符合为企业组织定义数据质量的业务规则。
-
问题解决和工作流:借助支持与关键角色(比如数据管理员)进行合作的众多流程和界面,识别、隔离、分派、上报和解决数据质量问题。
-
数据丰富:通过添加来自外部数据源的相关属性(比如消费者的人口统计属性和地区描述信息),增添内部拥有的数据具有的价值。
-
易用性:通过一种面向业务的界面,提供所有上述功能,该界面可供业务用户和技术用户使用,而且做到与他们的角色相称(比如自助服务和数据准备等)。
此外,数据质量工具提供了一系列并非这个市场特有的相关功能,但是执行数据质量保证的许多核心功能或者特定的数据质量应用软件需要这些相关功能。
-
连接/适配件带来了处理一系列不同的数据结构类型的功能,既包括静态数据(比如关键数据库和Hadoop),又包括动态数据(比如数据流和机器数据)。
-
针对特定主题领域的支持为特定的数据主题领域(比如针对邮政地址和物联网的套装功能)提供了标准化功能。
-
国际支持提供了这一功能:在全球范围内提供针对性的数据质量操作(比如处理采用多种语言的数据、编写系统)。
-
元数据管理让企业组织能够发现、捕获、协调、跟踪(世袭)和兼容与数据质量流程有关的元数据。
-
配置环境功能让企业组织能够创建、管理和部署数据质量规则。
-
运营和管理工具支持数据质量流程的监控、管理、审计和控制。
-
服务实现提供了面向服务的特点,并支持基于API的访问
-
可以选择部署选项,让用户除本地部署外,还能够实施一些或所有数据质量功能及/或服务(比如通过云)。
这个市场中的厂商提供的工具被企业组织用来部署到内部的IT基础设施,或者部署到云端,比如SaaS。它们使用这些工具直接支持需要为业务运营提供更佳数据质量的各种场景,比如事务处理、主数据管理(MDM)、大数据、商业智能和数据分析,并且让肩负面向数据质量的角色的员工(比如数据管理员)能够执行改进数据质量的工作。异地解决方案(表现为托管式数据质量解决方案、SaaS交付模式和云服务)继续在发展,而且慢慢日渐受到欢迎(从2016年的数据质量工具调查数据来看,目前采用率为11%。)
2016年数据质量工具魔力象限:
2015年数据质量工具魔力象限:
2014年数据质量工具魔力象限:
2013年数据质量工具魔力象限:
新增和出局的厂商
随着市场不断变化,我们审查并调整了魔力象限的入围标准。由于这番调整,任何魔力象限中的厂商组合可能会随着时间的推移而变化。一家厂商今年出现在魔力象限上、下一年消失,这未必表明我们改变了对这家厂商的看法。这可能体现了市场发生了变化、评估标准发生了变化,或者该厂商的重心发生了变化。
新增:一家也没有
出局:DataMentors
声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。