数据治理和数据质量测试实验室,目前经过一二三期建设,在数据治理,数据清理、数据质量控制形成了一整套原理方法,开展了“ISO8000数据质量”系列标准在大数据治理方面的应用研究,并进行了试验验证,实验室还开展了面向国际贸易通用数据的标准符合性测试研究、数据内容类标准的符合性测试平台架构研究,研制“国际贸易代码数据的标准符合性测试软件”、“国际贸易中文术语的标准符合性测试软件”并获得多项软件注册权,在国际贸易、电子商务、电子政务和人类工效学领域开展了标准化数据治理和数据质量的试验验证工作,初步形成了服务政府市场监管、企业诚信建设,特别是电子商务平台质量监管的数据治理与质量测评实验研究能力。
主要研究内容
• 分布式实时大数据采集体系:提供高吞吐量、低延时、可扩展的企业级数据远程自动获取模块化套件,实现实时的自动获取零散分布、格式各异的数据,并支持转换成标准格式。
• 通用大数据治理体系:基于数据指标、质量检核、问题发现和监控的完善数据治理体系,从事前、事中和事后等各个环节规避、发现和解决数据问题。
• 通用大数据质量控制体系:对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、清洗、监控、预警、评估等。
• 多维异构数据交换体系:提供异构多源多模态信息的集成与内容转换,实现数据的集中管理、应用与共享。提供完善的数据转换的功能,实现多个业务服务之间同种语义但模型异构的数据之间的相互转换、相互识别。
• 多源符合性测试数据计算与分析体系。具有数据预处理能力,将多源符合性测试数据加载与整合,为上层分析应用提供统一的标准访问与共享。具有数据分析模型,支持可视化工具维护测试数据模型。以数据目录形式,对不同主题的数据进行类管理,并具有分析模型。数据分类工具,支持多种数据分类处理算法,支持决策树和决策表、基于实例的分类等。
主要服务项目
◆ 数据类标准的符合性测试,标准数据验证服务
◆ 数据类动态型标准的维护与管理,代码标准数据库服务
◆ 数据质量测试服务,数据质量监控,数据清洗服务
◆ 数据治理工具测试服务
◆ 产品模块化设计制造评价验证服务
◆ 组织制定数据治理和数据质量测试领域的国际标准和国家标准;
产业化典型案例
为人类工效学实验室提供了人类工效学基础数据一致性测试服务。包括:以人类工效学基础数据标准为应用场景,实现测试用例、测试数据的自动生成,以及针对数据内容类标准进行符合性测试,并给出客观的测试结果。
为海关总署,国家电子口岸数据中心的国际贸易“单一窗口”相关标准研制提供标准符合性测试,标准数据验证等工作,包括:“国际贸易代码数据的标准符合性测试”、“国际贸易中文术语的标准符合性测试”等专项测试工作。
联系方式