思考：DAMA数据库的组建与治理

在数据管理领域，我们通常将数据分为：主数据、交易数据、参考数据、元数据和统计分析数据（指标）。该指标是BI的核心概念，是企业数据运营的核心数据，一般以KPI和报表的形式反映。从作者的实践来看，企业进行数据治理涉及架构、安全等方面，但最迫切的是提高数据质量，其中指标质量是重中之重。一般来说，90%以上的业务问题都是从指标问题开始的。只要你从事数据相关工作，你就应该有深刻的理解。“这个指标似乎与业务发展的实际情况不符。去检查一下。”据估计，这是报告取数器听到的最多的一句话。作者将讨论如何从根本上提高指标的数据质量，即实现指标的标准化。作为一名数据管理者，无论你有多少能力，你解决了多少问题，你做了多少消防英雄，你都应该从更长远的角度来思考这个问题。指标标准化的核心价值在于实现“书、车、轨”，即通过一系列指标管理流程，提高指标的准确性、一致性、敏捷性和开放性。DAMA将数据治理放在核心位置，指标标准化是典型的数据治理问题，症状容易，成本太高，但如果你想实现先进，或站得更高，思考是否有更好的方法，从作者多年前做指标标准化项目，分为组织保证、报告梳理、指标整合、实现、功能架构、可视化引擎和管理流程七个方面。1、一般业务部门参与的数据管理项目，如组织保障指标库，或BI项目，并不大，这是大多数BI项目实施效果差的深层次原因。DAMA提到，要实施数据治理活动，跨部门数据治理委员会是关键组织。事实上，该指标与公司的每个单位都有关。当然，标准化转型应得到大家的一致同意。不幸的是，大多数企业没有这个理想的条件，也不会有数据治理委员会，在数据成为真正的实质性资产之前，如财务部资产目录，很少有企业会设立数据组织，因为效益不明显，因此，企业不太可能指标规范，命令公司实施，对于数据管理人员，指标库可能意义重大，但对整个公司意义不大，这是现状。在没有公司层面的组织保障之前，大多数数据管理人员或BI部门都必须依靠自己来推动事情向前发展。这是一种应有的态度。如果你不提，公司里没有人会提到它。毕竟，你是最大的受益者。实施指标数据库非常复杂。没有人能成功地把握它。坚持小步快跑的原则，试点探索是好的。作者的指标库项目得到了主管领导的大力支持，这是项目可以进行的实际组织保障。事实上，在这类管理项目成立之初，业务部门和一线人员很难立即认识到其价值并充分参与其中。沟通管理成本太高，但无论如何，数据管理项目能否成功，公司的支持是首要任务，不仅仅是IT部门，DAMA早就在《DAMA数据管理知识体系指南》中明确了数据管理的组织要点。以下是DAMA数据管理组织架构图，非常先进：当然，作者认为实际的组织演变可能更合适，但事实是一样的。相关利益相关者需要就此事达成共识：2、报表梳理指标的主要表现形式是报表，因此首要任务是对报表进行梳理，公司的报表浩如烟海，因此，该项目在成立之初就受到限制，主要针对一线营销经理、终端管理和流量管理三个核心角色，在数据市场上梳理了39封彩信、48封电子邮件通知和733份报告。3、指标整合各种报表和相关指标的表达方式不同。在梳理之前，应给出一个描述指标的标准框架，包括指标类别、子类别、维度、周期、所有权、命名规范等。由于框架中缺失了一些元素，必须做好顶层设计，以下示例：命名规范：业务限定词 业务名称 量值限定词 量值描述(量、收、用)例1：两个网络有效用户到达的例子2：下图列出了自建有线宽带账户用户数量的一般梳理步骤，基准指标主要根据省级公司报表和彩信KPI确定。各城市指标消除个性指标后，将其合并到省级公司的基准指标中，形成本次最终指标的范围。全省共有6841个指标(无重量)。合并整合后，获得2306个基本共性指标，如下图所示:这项工作耗时巨大。以下是结果的示意:4、根据指标性质的不同，实现方法可分为三类，即1046个基本指标、652个计算指标和303个通用营销指标。5、为了支持指标的快速、标准化，功能架构主要包括指标信息维护、指标开发、运维管理、指标质量管理等功能，通过加强数据管理平台实现指标的快速开发、部署和管理。比如指标库每月需要新增9.5亿行以上的数据，存储周期为12 1.即123亿行，无法支持传统关系数据库的查询能力。在这里，Hbase架构用于支持海量指标的快速查询。6、为了支持指标组装报告和配置报告的快速开发，数据可视化引擎产品主要包括指标组装、报告开发和报告显示功能。现在有很多这样的产品，但定制给了创新项目更大的自由。6、为了支持指标组装报告和配置报告的快速开发，可视化引擎使用数据可视化引擎产品，主要包括指标组装、报告开发和报告显示功能。现在有很多这样的产品，但定制给了创新项目更大的自由。指标组装报告工具是一种基于SQL配置报告的更灵活性的报告配置模式，主要提供基于指标的组装生成报告。7、管理过程指标的建设只是数据管理的第一步，为了确保指标库的长期可用性，必须有一套有针对性的指标管理机制和过程，否则施工结束是混乱的开始，理想的做法当然是发布一套公司级指标管理规范，但时机往往不成熟，如系统可用性，因此，我们建立了一个简单的原则，开发铁律：不重复开发，指标不允许单独开发报表，当然，这是对数据管理艺术的考验，极大地依赖于团队业务和数据能力，但独立的数据管理团队必须知道如何与业务人员玩游戏，记住你是公司数据经理，而不仅仅是开发者。作者简要讨论了指数库的实现，但我对大多数企业的指数库持悲观态度，传统的BI部门面对数据需求，往往没有管理原则，因为公司对您的数据管理授权不明确，我们必须牺牲长期来满足当前，实际上BI每次接收非标准（如随机指标命名和定义）报告需求将承担由此产生的管理成本，而不仅仅是开发成本，为后续数据管理的混乱埋下了祸根。然而，存在是合理的，因为一开始，管理和运维成本都不低。关键是短期内效益不明显，这可能是成功案例少的原因之一。因此，当我们抱怨业务指标口径完全混乱时，记住企业没有数据管理原则导致这种现象，也是你的不作为导致这种现象，这与公司的文化、机制和流程密切相关，顶层设计没有解决，也许只能妥协，或者，你必须付出一百倍的努力来改变或优化设计，这需要巨大的决心和毅力。DAMA谈论数据治理的组织设置显然是非常明智的。奇怪的是，知乎上几乎没有关于DAMA数据治理的讨论，这是一个值得思考的问题。

以上就是关于思考：DAMA数据库的组建与治理的相关介绍，更多思考：DAMA数据库的组建与治理相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对思考：DAMA数据库的组建与治理有更深的了解和认识。