什么是数据标准管理？怎么进行数据标准管理？

做数据管理这么久我发现80%的数据质量问题都不是技术问题是没讲清楚的问题。没讲清楚什么叫“客户”没讲清楚“销售额”含不含税没讲清楚“活跃”的定义边界。而这些不清楚最终都会变成加班清洗数据、IT和业务部门对数扯皮的烂摊子。本质上这都是数据标准管理的问题。今天就跟大家好好聊聊数据标准管理到底管什么、怎么定、怎么落地。开始之前给大家分享一份数据标准体系建设方案这里面对数据标准的规范、数据仓库的搭建、报表体系的建设等等都需要有明确的建设思路。有需要自取https://s.fanruan.com/7igmg复制到浏览器一、什么是数据标准管理数据标准本质上是为了保证数据在企业内部使用、交换、理解时保持一致和准确的一套规范。简单来说就是企业对业务对象、数据名称、定义、格式、编码、规则、口径等内容做出的统一约定。它来自业务然后通过标准化的方式落实到系统、接口、数据库、报表和管理流程里。比如客户编号怎么定义产品名称怎么命名订单状态有哪些取值身份证号字段长度是多少性别代码用1和2还是男和女收入指标到底含不含税。所以数据标准管理是什么就是围绕这些统一约定建立制度、流程、职责和工具形成一整套从制定、审核、发布、应用到维护的管理机制。二、理解数据标准要先理解组织的数据构成通常来说组织的数据构成可以理解为三个层级业务域、数据模型、数据实体。1、业务域业务域是企业业务活动的范围集合里面包含业务术语、业务职能、业务流程、业务活动和活动参与者。也就是说数据标准不是凭空产生的它一定来源于业务场景。没有业务定义后面的数据定义就容易失真。2、数据模型数据模型是对业务对象的数据化表达核心包括实体、属性、关系、主键、外键和数据元。到了这一层业务语言开始转化为结构化语言系统建设和数据库设计都会基于这一层展开。3、数据实体数据实体就是业务实际运行中形成的数据记录包括主数据、参考数据、事务数据和汇总数据。比如客户、产品、机构这类稳定共享的数据一般属于主数据编码字典、行政区划、性别代码这类属于参考数据订单、支付、申请、签约这类过程记录属于事务数据而统计分析形成的指标、报表结果则属于汇总数据这四类数据往往分布在ERP、CRM、财务系统、自建数据库里数据标准管理的第一步其实是把分散的数据接进来、统起来。我们之前用数据集成平台FineDataLink做过一个项目客户主数据分散在3个老ERP和2个新SaaS里通过它的多源异构接入能力先把客户数据统一汇聚再做标准清洗和编码映射两周就把客户的定义对齐了。三、数据标准到底分哪几类结合企业数据构成常见的数据标准一般分为七类。这七类不是随便分的而是基本覆盖了从业务定义到数据应用的完整链条。1、业务术语标准它解决的是业务层面的统一理解问题。什么叫客户什么叫有效用户什么叫存量产品什么叫授信额度这些术语必须有清晰定义、统一命名规则、使用范围和文档说明。没有术语标准后面很多争论其实都没有基础。2、数据元标准数据元是最基础的数据描述单元。一个完整的数据元标准至少要说清楚名称、定义、数据类型等内容。名称唯一标识数据元简洁明确、准确描述含义定义解释数据元的含义、用途、范围和约束条件数据类型定义数据的类型如整数、字符串、日期决定存储格式和范围长度和精度长度为字符型数据元的最大字符数精度为数值型数据元的小数位数取值范围限制数据元取值离散值 / 连续值确保数据有效性和一致性约束条件如唯一性、非空、外键约束等保证数据完整性和一致性关系和关联定义数据元间的层次 / 父子关系、引用 / 关联关系元数据包含数据元的定义、使用方式、来源、更新周期等辅助数据管理元数据管理最怕事后补录数据从哪来、怎么变的、中间经过了哪些转换如果靠人工登记基本撑不过三个月就废了。FineDataLink的数据开发流程是可视化的每个转换步骤自动记录元数据数据血缘一目了然。3、数据模型标准数据模型标准关注的是模型设计规范包括实体怎么命名、属性怎么定义、关系怎么表达、主键怎么选、约束怎么设、模型文档怎么写、变更怎么管。它的作用是保证不同系统、不同团队在建模层面遵循统一规则具体来说实体属性规定实体和属性的命名规范、数据类型、长度、约束条件等。关系和关联定义实体间的关联方式一对一 / 一对多 / 多对多、命名规范、级联操作、参照完整性。主键和唯一标识符规定主键选择原则、命名规范、复合主键处理方式及唯一标识符的使用规则。数据类型和约束定义基本 / 复杂数据类型及非空、唯一、外键等约束条件。数据模型文档和图形表示规定文档结构内容及实体关系图、类图等图形表示方式。数据模型管理和变更控制规定版本管理、变更记录、审批流程等。4、主数据标准主数据是企业跨系统共享的核心数据比如客户、员工、机构、产品、供应商等。主数据标准不仅要规定字段和格式还要规定编码、分类、共享要求、质量监控和管理责任。数据元素规定命名规范、数据类型、长度、格式等。数据规则和约束明确数据的合法性、一致性、完整性要求。数据编码和分类定义编码规则、分类标准和层次结构。数据交换和共享规定交换格式、协议、接口及共享权限和安全要求。数据质量和监控定义质量评估指标、方法及监控策略和措施。数据治理和管理规定数据所有权、访问权限及生命周期管理和变更控制要求。5、事务数据标准事务数据对应业务过程记录比如订单、理赔、支付、采购、报销、发货。事务数据标准重点是保证过程数据记录一致、字段定义一致、规则一致、交换方式一致否则流程数据很难连起来。6、参考数据标准参考数据是被广泛引用的基准数据比如地区代码、行业分类、证件类型、币种代码、性别代码。很多企业低估了参考数据的重要性结果不同系统各自维护一套字典看起来是小问题实际影响很大。7、汇总数据标准这类标准主要服务分析和决策。指标名称怎么定义计算口径是什么统计粒度是什么数据来源是什么清洗规则是什么校验方式是什么都属于汇总数据标准的范畴。数据源和采集明确数据源选择、筛选标准及采集方法和工具。数据清洗和处理规定去重、格式转换、异常值处理等步骤和流程。数据聚合和计算定义汇总指标、计算方法及聚合层次和粒度。数据标准化和命名定义命名规则和约定确保数据一致性。数据质量和验证定义质量评估指标、方法及验证流程和控制点。数据文档和报告规定文档结构内容及报告格式和要求。四、数据标准怎么制定1、资料收集先收集现有制度、国家标准、行业标准、监管要求、业务流程文件、系统设计文档、历史数据字典、接口文档等材料。目的不是凑资料而是搞清楚当前已有些什么、缺些什么、冲突在哪里。2、调研访谈要同时找业务和IT谈而且要让核心岗位参与。因为标准不是谁单方面说了算必须把真实使用场景、历史问题、业务约束、系统限制都摸清楚。很多隐性问题只有访谈时才会暴露出来。3、分析评估不是所有标准都要从零开始重建。能复用的就复用能对齐外部标准的就尽量对齐确实不满足业务需求的再新建。这样落地阻力最小执行成本也更低。4、标准制定在充分调研基础上对不同类别的数据标准逐项定义清楚。包括名称、编码、业务含义、字段属性、规则要求、质量要求、责任归属等。结合BORBusiness-Object-Relationship法从业务域、业务活动、数据对象、数据关系逐步梳理。这个方法的好处是不会只停留在字段层而是从业务出发逐层推导。5、意见征集标准初稿出来后一定不能急着发布。要做宣贯、收反馈、组织评审把业务、管理、技术各方意见收集上来特别是那些平时不太发声但实际要执行标准的部门一定要拉进来。你想想如果标准发布后大家说看不懂、用不了那前面不都白做了吗6、标准发布经过审查通过后由正式管理机构发布并明确生效范围、适用对象、执行要求和过渡安排。对于存量系统要做影响分析不能一句立即执行就结束。五、比制定更重要的是落地数据标准的落地是将发布的标准应用于信息建设和改造消除数据不一致的过程分为数据标准宣贯、数据标准实施、数据标准评价、数据标准改进四个关键阶段1、数据标准宣贯要让业务、IT、管理人员都知道标准是什么、为什么这样定、和自己工作有什么关系。文件传阅可以做集中培训也要做重点领域还要做专题培训。标准只有被理解才有可能被执行。2、数据标准实施业务部门要从源头使用标准比如新产品、新客户、新流程设计时就按标准来。IT 部门则要把标准嵌入需求分析、设计开发、测试验收、上线运行全过程。真正有效的做法是把标准检查嵌入项目流程而不是等系统建完再来补。相信做过落地的朋友都有体会标准落地最难的就是异构系统之间的标准对齐老系统字段不规范、新系统要按新标准建、中间还要保证数据流通靠人工线下同步不仅效率低还容易出错。分享一个我们团队正在用的数据集成工具FineDataLink它把源头的脏数据按标准自动清洗、转换、脱敏还能通过 CDC 机制实时同步到下游系统从根本上避免各系统数据版本不一致。标准化后的数据还能直接封装成 API业务系统一键调用从源头保证数据输入的规范性。我把工具的体验链接放在这里有需要的朋友可以自取试试​​​​​​https://s.fanruan.com/tx4dw复制到浏览器3、数据标准评价标准用了没有适不适用要靠评价来判断。至少要看两类指标使用率多少系统、多少流程、多少部门在用适用性标准能不能支持当前业务发展有没有明显不合理、不好用的地方。4、数据标准改进业务在变系统在变监管在变标准当然也要变。所以必须建立持续维护机制包括变更申请、影响评估、审批发布、版本管理、执行跟踪等。没有改进机制标准很快就会变成历史资料。六、最后数据标准管理最核心的价值是为了让企业在业务协同、系统建设、数据共享、分析决策这些事情上减少混乱建立共识提高效率。数据标准管理做得好企业内部对同一份数据的理解才会一致系统之间才更容易协同数据质量才有基础。