中小企业如何做数据治理.docx

中小企业如何做数据治理？关于数据治理，现在可以搜到很多的文章和资料，在研究了众多文章之后，发现大多数的文章常见大而全的框架图，方案上搭平台、建架构；案例上都是华为、阿里等头部企业。但是，大多数企业都不具备去实现这些复杂架构的基础条件，比如架构丰富度、数据基础能力、人才储备、内部流程完善度等。本文作者在互联网领域数据板块工作近十年中，长期作为数据治理项目的核心成员，对于数据治理的策略和执行效果有比较深刻的体会。同时在观远数据接触了比较多的传统行业头部企业、中小企业、新锐品牌等，发现中小企业有不一样的数据治理方法。针对数据化建设15年、专职数据团队小于20人的企业，怎么做好数据治理，是本文将要解答的问题。内容目录：01.数据治理的价值02.数据治理的内容03.怎么做数据治理04.总结中小企业和头部企业做数据治理的区别05.常见的坑有哪些01.数据治理的价值为什么要做数据治理，数据治理解决的是什么问题？价值是什么？首先我们需要解决跟老板汇报的问题。很多企业的CIo或者Bl负责人意识到需要做数据治理时，常见是由于出现了指标乱、页面多、任务杂、权限管理不规范等问题，同时还可能伴随性能问题，比如页面卡顿，加载时间长等等。如果解决这些问题相对简单，就不用上升到价值输出层面。但是如果问题严重到需要撬动高层资源去形成一个项目，就需要有更多的价值呈现。在对很多企业数据治理的痛点与最终创造的价值进行收集整理后，我们从四个层面总结了数据治理的价值，供大家参考：一、信息价值。数据系统的基本使用保障，避免高层或者业务方需要看业务指标时无法看数，无法做出运营决策。或者一个指标在不同地方出现不一样的结果，口径、范围等不对齐导致的内部信息传递异常。二、风险控制。规范的权限控制，对不同部门、不同层级的员工进行精准和一致的页面、数据表、任务权限管控，在保障必要的看数需求的同时，也避免数据泄露，满足内部风控部门要求。三、成本控制。出现服务器性能瓶颈，最快速有效的方式就是服务器扩容，但扩容有成本，大多数企业都不能接受无限制的扩容，数据治理本身也是在做服务器的成本管控。四、业务价值。数据治理最大的价值所在。我们发现如果一个企业的数据开发都在IT/数据部门时，往往不会存在数据乱、需要治理的情况。需要治理的情况很多都出现在开发能力往业务团队渗透的阶段，也叫业务推广期或者业务自助分析期。这个阶段不只释放了数据部门同学的人力，也是数据价值飞跃的阶段，业务同学会全面基于数据结论来指导运营决策，甚至去自发地基于自己的业务问题，做更多的数据探索和深度挖掘。在这个阶段做数据治理，保障数据的稳定和规范化的使用，本身就是在极大程度地创造数据的业务价值。Ol020304图示1：数据治理的价值体现信息价值风险控制成本控制业务价值保障看数决策 确保信息准确合理分配权限避免信息泄露提升机器效率降低采购成本数据使用爆发 全面数据探索02.数据治理的内容业内比较认可的数据治理内容可以参考DAMA（国际数据管理协会）发布的车轮图和DMBOK金字塔：数据架构管理数据质量规范数据治理元数据管理数据操作管理项目和服务交付估值文档和内容管理数据安全管理必略组织和角色政策和标准数据开发分析数据建模数据库设计开发数据仓库和 商务智能管理架构,培训和支持 实施监控和调优参考数据和主数据管理,外部规范内部规范客户数据产品数据维度管理/授权获取和储存备份;内容管理检图示2：DAMA车轮图阶段4数据集成和互操作数据安全数据建模 和设计数据存储 和操作数据仓库和参考数据文件和 商务智能和主数据内容管理高端实践阶段3阶段1数据治理数据质数据架构& 2元数据阶段2图示3：DMBOK金字塔但是DAMA车轮图与DMBOK金字塔中的内容对于中小企业而言，既有内容和习惯上的不匹配，又有实际执行中的不够具象。观远数据的建议是重点从五个方面来做：数据表，任务，报表，指标，权限。当然企业实际执行需要考虑当下面临的问题来做选取和新增。具体需要做的内容可以参考下表：常见数据治理内容其他数据治理内容Mmi（大小，<ff.mn.7三）-（>/«!.保存期眼）数据表Ii擀分篇（dwmid.dm、dn.te<n）（Mr主重）ttffl2Hk电据法02ft.Att.漕性）政我猿RX况任务期53偿时）任务侯表奴是（数18股使用含&慢）俄美系任务脑员任务布殁性冷任务性今彩*（CPU两行修HIMitl长）ARB*（w,神精）三三17报表 99表GaB（数挖内容，翕,可柳化，stl） nMtt（冷） 归耳仅疑（W<½l.T<i）页面归M精心/通用/个住化而面的召曷却分）s败先（畲名.口径.&nfWM）牯怀分居指标 次33除泄* 纣事一致性 JBV归Mr811T业务Q）沉淀摘除白皮书BmitSftitiw极限一找性（EaBM庭IlN自立一»情）权Rl轨电分层Wffnn（过度中调，二次慢IK）AF.达卤的松网切检M卷IHttitC*B表1：数据治理的内容列表，中小企业更注重常见的数据治理内容03.怎么做数据治理“怎么做数据治理”这个问题的内核，其实涵盖着多个层面的问题，包括“什么时候开始做”“什么人做”“做到什么程度”“做多久”“如何考核效果”“用什么做”等等，下面我们就来逐个寻找答案：3.1. 什么时候开始做数据治理最合适？有两个比较好的时间节点适合开始做数据治理。第一个是在S2渗透期，这个阶段数据内容持续增长以及数据建设的标准规范尚未建立，很容易造成各种数据资产混乱。同时在跟不少企业交流中有个共同结论：在前期有高段位的数据建设者时，提前重视规范化，后续会少走很多弯路。第二个值得关注的时期是S4阶段开始之前或者S4的初期，在内容生产爆发之前做好规则设置、培训课程、监控机制、责任人设定等，让大家有统一的行为和规范化意识，也可以少走很多弯路。总结一下，数据治理不要在大规模出现问题之后，应该是在爆发之前做好准备，“治”不如“防”。头部企业大多数己到S4S6阶段，进入了数据治理的常态化阶段，已经不存在“防”的说法，但是对于中小企业来说，抓住S2的规则空白期做规则建设，以及S4的爆发前做好用户教育，收益会非常大。激活期线上化率低渗透期从有到多蜿上化率超60%部分场景基于数据解决问题关注度关注度分析闭环场景多可完成预警类、优化类专项分析数据工种精细复制期从多到精从无到有对数据依赖弱最佳做数据S2渗透期阶段S，全面自助阶段早期治理的时间需要建立规则提前做规划和杜绝造成需要做治理的原因数据内容持续增长规则流程尚未建立团队内部缺少规范化意识数据内容生产的爆发增长数据应用的全面展开数据管理的规则/流程未在业务部门渗透3.2.数据治理需要哪些人来做？这也与数据化建设的阶段发展相关。在S2阶段做数据治理时，数据内容的生产100%来源于IT/数据团队，这个阶段的数据治理由IT/数据部门的人来负责。跟多个企业沟通下来，这个阶段的数据治理，限部门内部，相对容易完成。真正有挑战的，是S4阶段的数据治理，这个时候内容生产者扩大到了业务部门，技术部门与业务部门由于能力差异与认知鸿沟，在数据治理的协作上往往会面临巨大挑战。当然，也存在部分企业内部技术部门和业务部门协作紧密，或业务部门具有较高的技术素质易于双方沟通，数据治理工作推动顺利的情况。因此，我们可以将这个阶段实际数据治理的类型总结为三类，每一类对应的协作方与合作方式如下：分类协作方合作方式S2阶段-容易协作技术部门技术部门内部制定规范并且执行S4阶段-容易协作技术部门+业务部门技术部门制定规范，邀请业务部门相关数据内容生产者来共同执行S4阶段-较难协作技术部门+业务部门+高层技术部门制定规范，需要高层来站台，协调业务部门资源，共同完成数据治理的事项，并需要持续跟迸和复盘一般来讲，对于中小企业，在企业数据化建设的早期，或者部门之间的关系非常融洽时，往往前面两种方式就能很好地做好数据治理。而当企业比较庞大，或者内部部门之间关系比较复杂时，往往都需要通过第三种方式。对于最为复杂的第三种方式，我们要关注到在其中起到非常关键作用的两类人: 高层。主要是协助处理一些矛盾，合理运用高层资源，能很好地驱动项目落地。 种子用户。上述的第二、三种类型的数据治理中，这类用户非常值得关注。强烈建议技术部门去识别这类具备规范化开发素质与责任心的用户，树立标杆然后全员推广，使其在内部发挥帮带作用。高层LD常见数据治理项目 分工情况对于中小企业而言, 常常一人兼多职，比 如既是技术LD又是 核心监控人又是培 训者业务LD核心对接人 种子生产者项目管理委员3. 3.数据治理具体怎么做？首先需要理解数据治理的本质是什么。当很多认知和行为模式不一样的数据生产者同时在生产数据内容时，就会产生混乱的结果，这个也叫牖增。数据治理的本质，就是减燧，翻译成大家都听得懂的话，就是需要做规范化，或者叫标准化。而做标准化，又分为标准化的设计、标准化的执行两个方面。标准化的设计可以有很多方向，这里大概列一下比较通用的标准化设计的方向，仅供参考：数据表标准化大多数企业发展到一定阶段都会做数仓的建设，数仓建设本身就是对数据表进行规范化设计和管理。即使没有数仓，我们也可以简单地从以下两个方面来做数据表的标准化管理： 数据表分层和分类。数据表分dwd、dwsmid>dm>dim层，以及按营销、商品、采购、仓储等域区分，同时有商品、部门、用户等主键用于权限隔离。 权限控制规范。不同层级表的读写权限控制，有公共库和业务库的区分，全量表和增量表的区分。任务标准化SqI或者etl任务，在执行过程中的读写操作，是性能消耗的最大影响点，同时也决定了数据表数量和数据量的生成速度。任务的标准化对于数据治理而言重要性非常高，可以考虑从以下三个方向： 任务本身规范。包括命名规范，执行规范，全量表增量表的使用规范等。 任务之间的规范。依赖关系要有且清晰，以及层级清晰，层级也不宜太多。 性能最优。需要考虑单任务的执行效率，精准使用不同层级的表，以及不过度生产数据、不重复生成数据。在真正治理过程中发现性能异常的任务，往往都是因为没有做性能优化导致。报表页面标准化报表在企业内会被大规模使用，核心报告也在被高层关注,对报告的标准化管理,能很直观地体现数据治理效果： 分层报表管理。核心公共报表统一管理VS.自由报表单独域或者目录，移动端统一管理VS.PC端自由产出，部门级核心报告VS.次核心报告分层等。 目录规范。一般是建议按照业务属性、部门属性、项目属性进行划分，方便做权限管理。 页面规范。这个就比较细致了，包含对于表头，排版，颜色，字体，对齐，图表大小，筛选器位置，统计表和明细表规则等等一系列的规范。指标标准化在数据治理中，指标的问题是看似简单但往往是问题最大的一类。我们常见的指标混乱