数据治理项目做不动,多数不是卡在工具上,而是卡在存量数据。系统里躺着三万条客户记录,一万条是重复的,八千条缺联系方式,还有一批十年前的供应商早就注销了。新规则定得再漂亮,旧数据不清理,报表照样不能看。

先主数据,后交易数据

清洗顺序有讲究。先把主数据理顺——客户、供应商、物料、科目、人员,这五类决定了所有交易数据的归属。主数据乱,交易数据再干净也串不起来。

客户主数据的合并规则要提前定:按统一社会信用代码优先,没有代码的按名称加地址匹配,名称含"公司""有限"这类通用词的先做归一化处理。重复记录不要直接物理删除,标记为合并状态并保留关联关系,历史订单要能追溯到原始记录。

交易数据的清洗排在第二轮。重点不是逐条改,而是识别异常:金额为负的应收、跨期三年以上的挂账、同一张发票重复入账。这类问题往往需要业务部门确认后才能调整,技术团队自己做不了主。

验收口径要量化,不能只说"干净了"

治理效果必须能测。常用的三个指标:

  • 唯一性:主数据重复率降到什么水平,一般要求核心客户、供应商重复率低于 1%
  • 完整性:必填字段(联系方式、税号、银行账户、所属区域)覆盖率达到多少,通常设 95% 以上
  • 准确性:抽样核对,抽 100—200 条与原始凭证或合同比对,错误率控制在可接受范围

抽样验收这一步最容易被跳过。不做抽样,治理成果就只是一句承诺。抽样还有个附带好处:能发现规则本身的问题——合并规则定错了,抽样时一眼就能看出来。

清洗完还得防反弹

数据清完不是终点。没有录入端的控制,半年后又会回到原样。几个有效的控制点:客户名称按工商数据校验后再保存,税号做格式和校验位检查,必填字段不填不让提交,新增供应商需要审批。

责任也要落到人。主数据的每个字段都应该有明确的维护责任人,出现错误知道找谁。客户信息归销售,供应商信息归采购,科目归财务,三者交叉的部分(比如客户同时也是供应商)单独约定归属。

涉及个人信息的数据还有一层要求。《个人信息保护法》第四十六条规定,个人发现其个人信息不准确或者不完整的,有权请求更正、补充。企业处理客户、员工个人信息时,更正通道和响应时限要留出来,这既是合规义务,也是数据质量的一个来源。

治理的投入产出不好精确计算。粗算口径下,主数据质量提升带来的直接收益主要是减少重复采购、减少错发错收、缩短对账时间,实际数值因企业规模和业务复杂度差异很大,只能作为决策参考,不能当作承诺。

天蓬数科 · 本站解读
天蓬数字科技独立解读 · 非官方意见 · 仅供企业参考

数据清洗看着像技术活,实际每一步都要业务部门拍板才能落地。天蓬数字科技在给客户上系统之前,通常先做一轮主数据梳理,把客户、供应商、物料的口径统一,再谈功能配置。这一步看着慢,跳过它做出来的报表迟早不能用,返工成本更高。

—— 天蓬数字科技 · 企业服务研究团队