驅動力
-卷首語-
卷首語
尊敬的各位讀者好：
2024年第1期的《驅動力》雜志如約而至，祝各位讀者新年新氣象！
本期是數據治理專刊，隨著數字化時代的到來，企業面臨著大量的數據涌入和積累，如何高效地管理和利用這些數據成為了一個亟待解決的問題。數據治理便應運而生，它是一種框架和流程，旨在確保企業數據的質量、可靠性、安全性和合規性。通過數據治理，企業可以更好地管理數據資產，提升數據價值，以及降低潛在風險。本期專刊將通過幾篇優質文章的引入，嘗試帶您探討一下數據治理的核心概念以及實施數據治理的最佳實踐。
在這一期中，我們找了兩篇相對概括的介紹數據治理概念的文章，先帶大家對數據治理有個概要的認知，然后我們還在數據治理眾多領域中，挑選了兩篇有關數據標準管理以及數據質量管理的文章，希望以此作為開篇，帶大家走進數據治理的世界。
2024年，我們也將切實的在我們公司通過一些數據治理項目，開始落地數據治理工作，我們相信，通過數據治理，企業可以更加科學、高效地利用數據，真正實現數據驅動的決策和業務增長。
感謝您的閱讀和支持，我們期待聽到您對本期專刊的反饋和建議。祝愿您在閱讀中獲得有價值的信息，以及在實踐中取得成功！
《驅動力》雜志
驅動力
-數說-
目錄
01 0到1搭建企業級數據治理體系
02 數據治理的 “獨孤九劍”
03 數據標準管理：基礎數據標準&指標數據標準
04 數據質量問題管理實踐
0到1搭建企業級數據治理體系
contents
數據治理是企業數據建設必不可少的一個環節。
好的數據治理體系可以盤活整條數據鏈路，最大化保障企業數據的采集、存儲、計算和使用過程的可控和可追溯。
如何構建企業數據治理體系？企業數據治理過程需要注意哪些問題？總體而言，不能一口一個胖子，路要一步一步地走。
下面我將結合企業級數據治理經驗，詳細介紹從0到1搭建數據治理體系全流程，幫你梳理數據治理的主要內容以及過程中會遇到的哪些坑。
文章轉自數據治理體系公眾號
原文鏈接：//mp.weixin.qq.com/s/nUU0waB3Z9r-f27fHQpqdQ
1.1 一個小故事
在正文之前，我先介紹一個小故事。
年底了，企業財務管理員小張需要統計公司的金融財務情況。忙碌了一年，公司老板亟需知道公司目前的運營狀況。
小張需要考慮哪幾個點呢：
“
1、公司目前有哪些財產？
2、這些財產從哪里來？用到了哪些地方？
3、是否所有財產的使用均符合規范和制度？
”
1 數據治理到底是在做什么
驅動力
-數說-
整體流程數據治理體系將全程監管。要確認進出系統的數據質量怎么樣？是否可轉化數據資產？數據血緣是否可追溯、數據安全等問題。
幸好小張年初已經制定了一套管理標準。每筆財產的出入都有記錄且嚴格把控使用情況，過程可追溯可審查。
最后，小張得到了領導們的一致好評。
1.2 數據治理做的事情
故事中的小張監管著公司所有金融財產活動，確保財產使用的有序高效。這也是數據治理角色的類似功能。
“
數據治理的核心工作： 在企業的數據建設進程中，保障企業的數據資產得到正確有效地管理。
”
一般來說，數據從外部或者內部產生后，經過大數據手段處理，流轉到不同的業務端，為企業的上層應用提供數據賦能。
整個過程，如圖所示。
- 我們先做一些類似數據同步的工作將數據放入到大數據系統中
- 數據進來后需要管理和存儲，即參考建模理論和實際場景建設數倉
- 經過主題規劃、維度確定、標簽計算輸出等步驟處理
- 數據輸出到報表、應用端使用
“
臟亂差的數據是無法使用的，甚至嚴重埋雷。
”
有一些企業對這個問題的概念很模煳，認為目前的數據規模很小，人為可控，暫時不需要做數據治理。
但是在實際使用中還是會遇到很多問題：
- 數據監管力度不夠，出現臟數據
- 數據體系逐漸規模變大，管理混亂
- 數據的血緣丟失，無法回溯舊、老的數據
無論企業的數據規模如何，我認為還是提起做好數據治理的規劃。考慮到成本的問題，可以分階段進行。
2 為什么要做數據治理
“
為什么要進行數據治理：
- 你的數據是否真的可用，缺失和異常值怎么辦？
- 數據從哪里來到哪里去，血緣信息是否丟失
- 數據訪問是否安全，明文標識還是加密？
- 新的數據加工參考什么規范，維度和標簽管理是否存在標準？
”
有劍在手不用和無劍可用是兩回事。提前做好數據治理規劃，會節省后續的改造成本，避免過程冗余重構或者推倒重來等情況的發生。
驅動力
-數說-
1）數據質量
一般采用業內常用的標準來衡量數據質量的好壞：完整性、準確性、一致性和及時性。
- 完整性：數據的記錄和信息是否完整，是否存在缺失情況
- 準確性：數據匯總記錄的信息和數據是否準確，是否存在異常或者錯誤
- 一致性：多個業務數倉間的公共數據，必須在各個數據倉庫中保持一致
- 及時性：數據能及時產出和預警
數據治理可以有效保障數據建設過程在一個合理高效的監管體系下進行，最終提供高質量、安全、流程可追溯的業務數據。
企業數據治理體系包括數據質量管理、元數據管理、主數據管理、數據資產管理、數據安全及數據標準等內容。
3 數據治理體系
2）元數據管理
元數據是關于數據的組織、數據域及其關系的信息，通俗理解，元數據就是描述數據的數據。
驅動力
-數說-
5）數據安全
數據安全是企業數據建設必不可少的一環，我們的數據都存儲在大大小小的磁盤中，對外提供不同程度的查詢和計算服務。
需要定時對數據進行核查、敏感字段加密、訪問權限控制，確保數據能夠被安全地使用。
6）數據標準
大白話理解，我們需要在組織內定義一套關于數據的規范，好讓我們都能理解這些數據的含義。
今天張三說這個客戶號是辦理銀行卡的客戶，明天李四又說是借貸過的客戶。對比一看，兩者的字段類型和長度一致，到底要采納哪個意見呢？
數據標準是保障數據的內外部使用和交換的一致性和準確性的規范性約束，通過統一規范，消除二義性。
元數據包含技術元數據和業務元數據。可以幫助數據分析人員清楚了解企業擁有什么數據，它們存儲在哪里，如何抽取、清理、維護z這類數據，也即數據血緣。
- 幫助構建業務知識體系，確立數據業務含義可解釋性
- 提升數據整合和溯源能力，血緣關系可維護
- 建立數據質量稽核體系，分類管理監控
3）主數據管理
企業主數據指企業內一致并共享的業務主體，大白話理解就是各專業公司和業務系統間共享的數據。
常見的主數據比如公司的員工、客戶數據、機構信息、供應商信息等。這些數據具有權威性和全局性，可歸約至公司的企業資產。
一般主數據管理需要遵循如下幾點：
- 管理和監管各組織機構、子公司、部門對主數據的訪問，制定訪問規范和管理原則
- 定期進行主數據評估，判斷既定目標的完善程度
- 組織相關人員和機構，統一完善主數據建設
- 提供技術和業務流程支持，全集團集中統籌
4）數據資產管理
一般企業在數字化轉型時都會考慮數據資產梳理。你的數據有沒有被合理利用？如何產生最大價值？這是數據資產管理關心的核心工作。
在構建企業資產時一般會考慮不同角度，即業務角度和技術角度，最后進行合并，輸出統一的數據資產分析，并向外提供統一的數據資產查詢服務。
4 企業數據治理實施過程
4.1 數據治理實施框架
數據治理體系是為了規范業務數據規范、數據標準、數據質量和數據安全中的各類管理任務活動而建立的組織、流程與工具。
通過一個常態化的數據治理組織，建立數據集中管理長效機制，規范數據管控流程，提升數據質量，促進數據標準一致，保障數據共享與使用安全，從而提高企業運營效率和管理水平。
如何盤活數據，形成數據資產，提供完整的數據資產全景視圖，可方便運營者全局、宏觀地掌控企業資產動態。
驅動力
-數說-
4.2 數據治理組織架構
企業數據治理體系除了在技術方面的實施架構，還需要管理方面的組織架構支撐。
一般在數據治理建設初期，集團會先成立數據治理管理委員會。從上至下由決策層、管理層、執行層構成。決策層決策、管理層制定方案、執行層實施。層級管理、統一協調。
4.2.1 組織架構
1）決策層
提供數據標準管理的決策職能，通俗理解即拍板定方案。
2）管理層
- 審議數據標準管理相關制度
- 對跨部門難的數據標準管理爭議事項進行討論并決策
- 管理重大數據標準事項，提交信息科技管理委員會審議
3）執行層
- 業務部門：負責業務線數據標準的制定、修改、復審，推廣落實數據標準等
- 科技開發：承擔治理平臺、數據標準、數據質量等實施工作；系統設計和開發工作中遵循數據標準
- 科技運營：負責技術標準的制定和技術推廣
4.2.2 管理層職責
1）項目經理
- 確定項目目標、范圍和計劃
- 制定項目里程碑
- 管理跨項目協同
2）專家評審組
評審項目方案，確定方案的合理性
3）PMO
- 確保項目按計劃執行
- 管理項目重大風險
- 執行跨項目協同、溝通
- 組織項目關鍵評審
4）數據治理專項組
執行各項目的落地實施和運營推廣，推動執行層的實施數據治理技術落地和項目進展。
驅動力
-數說-
4.2.3 執行層職責
數據架構師、數據治理專家和業務專員形成數據治理"鐵三角"，緊密協作，推進數據治理與數據架構落地。
2）數據治理專家
數據治理專家作為數據治理組成員，負責設計數據架構，運營數據資產；牽頭組織業務、IT達成數據治理目標。
- 構建數據邏輯模型
- 監控數據質量
- 運營數據資產
3）數據架構師
數據架構師作為IT開發部門的專家，承擔數據標準落地、模型落地的重任，協助解決數據質量問題。
- 數據標準落地
- 邏輯模型落地
- 物理模型落地
4.3 數據治理平臺
在確定了技術實施方案和組織管理架構，下面需要進行數據治理體系的落地實施。
在大型企業中一般會開發一個完整的數據治理平臺，囊括所有數據治理功能，對外提供平臺服務。
1）核心功能
數據治理平臺作為數據治理的產品體系，旨在保障數據平臺的數據是安全、可靠的、標準的、有價值的。
1）業務專員
業務專員作為業務部門數據治理的接口人，在標準、質量、應用等領域組織業務人員開展工作
- 定義數據規則
- 保障數據質量
- 提出數據需求
驅動力
-數說-
- 數據資產管理：提供面向用戶的場景化搜素，提供全景數據資產地圖，方便快速查找資產和資產分析
- 數據標準管理：統一定制數據標準，提高包括字段、碼值、數據字典管理，保障業務數據和中臺數據的統一標準
- 數據質量監控：提供事前、事中、事后的數據質量體系，支持數據質量監控規則配置、告警管理等功能
- 數據安全：提供數據安全脫敏、安全分級和監控
- 數據建模中心：統一建模，提供業務系統建模和模型管理
2）元數據管理
元數據管理系統作為數據治理平臺的前端展示門戶，幫助實現對數據資產的快速檢索能力，提高數據使用有效性和效率。
通過建立完整且一致的元數據管理策略，提供集中、統一、規范的元數據信息訪問、查詢和調用功能。
4）數據標準
支持定制統一的數據標準平臺，包括字段標準管理，碼值標準管理以及字典管理，業務源數據和中臺數據統一標準。
3）數據質量
- 數據質量監控：支持所有用戶進行數據質量監控規則配置
- 規則阻斷：配置數據質量監控阻斷規則，數據質量出現差異可實時阻斷下游作業運行，屏蔽錯誤結果鏈路擴散。
- 告警：數據質量出現預設偏差，及時發出預警通知及時修復
5）數據安全
基于集團數據資產實現數據安全分級管理，自動識別安全信息；提供數據訪問安全行為監測，及時識別訪問風險。
4.4 數據治理評估
數據治理平臺開發完成并運行，需要對整體數據治理體系的效果進行驗證和評估。
驅動力
-數說-
1）數據資產通過構建數據資產管理體系，實現資產全覆蓋，并支持全局搜索和精準定位目標資產。
- 實現全局搜索，面向用戶提供場景化檢索服務
- 支持標簽、數據地圖、表名和字段名等多種檢索維度
- 支持進行數據地圖，源業務數據字典的結果篩選
- 比如支持PV/UV用戶搜索和資產展示，明確服務目標
3）數據安全
保持事前制度建設、事中技術管控、事后監控審計的原則建立全流程數據安全管控體系。
基于以上數據安全管控體系，支持數據安全定級，構建靈活的數據安全共享流程。
4）數據質量
通過數據質量雷達圖，定期進行數據和任務質量打分，綜合考察數據質量效果。
- 數據完整性：查看數據項信息是否全面、完整無缺失
- 告警響應程度：日常管理、應急響應、降低影響；避免數據損毀和丟失
- 監控覆蓋程度：確保數據遵循統一的數據標準和規范要求
- 作業穩定性：監控作業穩定性，是否存在作業異常等問題
- 作業時效性：檢查任務對應的數據項信息獲取是否滿足預期要求
“
1）數據是否可以消除"臟、亂、差"的現象
2）數據資產是否最大價值化
3）所有數據的血緣是否完整可追溯。。。
”
2）數據標準
新舊數據標準沉淀，打通了數據建模工具、數據標準庫和詞根標準庫，落地數據標準和詞根。
- 實現數據標準庫100%拉通
- 智能識別數據標準和引用
- 客戶端同步更新數據標準、詞根
驅動力
-數說-
“
這是一個經典問題，一般對于不同階段和規模的企業，數據治理的實施程度會有所不同。一般建議先根據自身的數據狀況分階段進行，避免盲目鋪開規模，過程中可調整。
”
1）數據治理是否要做得大而全
5 數據治理的幾點誤區
“
正如文中所說，數據治理不僅僅是技術團隊的事情，而是整個集團一起協作完成。其中就包括各業務線以及其他管理組織，沒有一個好的實施方案和協作機制，往往事倍功半。
”
2）數據治理只是技術考慮的事情
“
數據治理是個長期過程，會跟隨著企業數據的規模和數倉規劃的變更同步調整，部分功能可能會在短期內卓有成效，完整體系搭建短期很難實現。
”
3）數據治理可以短期見效
“
俗話說工欲善其事必先利其器，有好的工具當然是更好，前提是已經有了成熟的數據治理體系規劃和策略。工具和技術手段目前市面上很成熟，先把理論給鋪墊好。
”
4）必須得有工具平臺，才能開展數據治理
“
數據治理是一個長期工作，需要相關從業者根據企業的數據現狀和管理模式去構建和調整，建議邊做實踐邊總結歸納，小步慢跑是一個很好的方式。
”
5）數據治理感覺很模煳？不知道最后的落地結果
-END-
驅動力
-風向-
數據治理的 “獨孤九劍”
文章轉自與數據同行公眾號，作者傅一平
原文鏈接：//mp.weixin.qq.com/s/z_lsHt2TUplCzTxYg7RaJg
數據治理即對數據資產管理行使權力、控制和共享決策（規劃、監測和執行）的系列活動。
這個概念挺抽象，它既不是你每天干的數據采集、處理、建模、運維等生產工作，也不是數據質量管理、元數據管理，主數據管理等保障型工作，事實上，數據從業者95%的工作都跟數據治理本身沒關系，但每時每刻都會受到數據治理活動的影響。
剛接觸數據治理的時候，我對要干什么也挺茫然的，經過2年的實踐，我終于知道DAMA的數據治理到底在講點啥了，這里就把自己的經歷提煉成九個方面的內容，姑且就叫作“獨孤九劍”吧。
- 「總決式」- 研判形勢，決定數據治理時機
- 「破劍式」- 保駕護航，建立運營組織框架
- 「破刀式」- 建章立制，確保達成企業共識
- 「破槍式」- 對齊業務，解決核心業務問題
- 「破鞭式」- 推動項目，確保數據變革成功
- 「破索式」- 制定標準，規范數據管理行為
- 「破掌式」- 問題管理，推進跨域問題解決
- 「破箭式」- 監督控制，保證持續執行到位
- 「破氣式」- 評估合規，確保法規合理執行
1、研判形勢，決定數據治理時機
要不要做數據治理，大多取決于公司管理層，特別是一把手的形勢判斷，包括數據要素的價值、國家的政策、行業的要求、上級單位的精神、公司的業務戰略、當前業務上的痛點及業界的最佳實踐。
但要把這個事情啟動起來，一般還是要讓公司的數據部門來進行專門研究，評估到底能不能做，以下是我當初接到任務的情形：
“2021年公司數字化轉型的步伐加快，這天部門BOSS找到我，希望研究下華為的數據治理之道，然后跟大老板匯報下我們的思路，當時我就在想，也許公司認為做企業數據治理的時機到了，畢竟數據是數字化轉型的基礎。然后我們閉門了一個月，出了一份研究報告，老板聽了匯報后，覺得還是靠譜的，因此決定啟動這個事情。”
我們的報告對公司數據管理現狀、成熟度、與業界的差距及大致的改進方向做了一個初步研究，然后提交給總經理務虛會討論，以下是差距分析的示例：
“數據是數字化的基礎，隨著公司數字化轉型的加快，對于數據要素高效融通配置，釋放數據生產資料更大價值提出了更高要求，雖然公司已經完成了企業級大數據平臺的建設，初步實現了三域數據的匯通，但當前企業級的數據治理體系還未建立，在公司數字化運營中逐步暴露出了數據盤點不足（比如O域流程管理數據還缺乏體系化盤點）、數據質量不高（比如資管中農村的寬帶資源點位置信息失真，抽樣準確度XX%）、數據匯通不暢（比如流程攻堅中政企投訴處理工單數據的采集耗時2個月）、數據開放不夠（比如詳單，位置等涉敏數據由于安全管控要求還無法向一線開放）等問題，迫切需要完善公司的企業級數據治理體系，從而為公司的數字化轉型保駕護航”
這是數據治理必經的階段，老板提出設想，數據團隊論證，否則企業數據治理無法真正開始。
2、保駕護航，建立運營組織框架
職能型組織的弊端就是業務條線分割導致的全局利益受損，而數據能打穿業務的壁壘，但大多企業的數據團隊比較弱勢，需要數據治理組織的保障，否則很難拉通數據。
企業數據治理組織一般包括立法職能（定義策略、標準和企業架構）、司法職能（問題管理和升級）和執行職能（保護和服務、管理責任）。
下面是我們組織的示例，采用的是聯邦式的數據治理組織形式，通過總經理辦公會決策通過后下發執行：
“數據治理委員會負責公司數據治理體系的頂層設計，下設數據治理辦公室，定期召開跨部門聯席會議，統籌推進數據治理各項工作；同時建立數據責任人制度，明確公司數據責任人和領域數據責任人的職責，企業數據責任人與各領域數據責任人協同，以維護一致的定義和標準”
驅動力
-風向-
3、建章立制，確保達成企業共識
理論上數據治理要明確愿景、目標、原則及制度，但實際上在數據治理起步的時候，往往只能明確一些原則，能建立的制度也非常有限，這是一個螺旋上升的過程。
下面是華為公司的數據治理的愿景和目標：
“愿景：實現業務感知、互聯、智能和ROADS體驗，支撐華為數字化轉型“
“目標：清潔、透明、智慧數據，使能卓越運營和有效增長”
我們沒有明確提出過愿景和目標，但我覺得老大說得這些話可以作為目標：
“目標：實現數據從產生、處理到消費端到端全流程高質量運轉，有效提升客戶體驗和企業運營效率，持續推動業務創新”
數據治理原則有助于企業凝聚共識，從而減輕潛在的阻力，下面示例了我們的部分原則：
“原則1：數據是公司的戰略資產，不是部門私有資產”
“原則2：建立企業級信息架構，統一數據語言”
“原則3：依據集團公司“三同步”原則，統一確定數據管控要求，公司所有項目均須遵從，對于不遵從管控要求的項目，擁有一票否決權”
“原則4：各領域數據責任人承擔信息架構、數據匯通和數據質量的三大責任”
“原則6：數據應在滿足必要的信息安全的前提下充分共享并明確服務承諾，數據產生部門不得拒絕或延緩跨領域的的數據匯通需求”
本來我以為原則是很虛的東西，后來發現不是這樣，自己就曾經受到過業務部門的“暴擊”：
“有次公司業務部門A要做個可視化應用，本來是安排我們的數據團隊做，后來發現做得一般，就要求把數據開放給B部門的團隊做，然后我們的數據團隊就不樂意了，說憑什么把我們加工的數據開放給B部門，后來業務部門A直接把原則6的內容發給我，......我們沒有不遵守的理由。”
關于制度，我覺得沒有沖突的制度沒必要寫，寫了沒法保障執行的制度也沒必要發。迄今為止，我們在數據管理制度方面只制定過一部《數據對內開放管理辦法》，跟公司各個部門拉扯了大半年，最近才算基本定稿。
這個辦法還附帶了流程和操作細則，可以直接落地，我給大家看一下這個辦法的框架和示例，它是公司各部門智慧的結晶，也是妥協的產物。
“圍繞“131”數據開放框架制定對內數據開放管理辦法，確定了數據開放各部門職責分工，規范了數據目錄管理、訂閱管理、平臺管理三大管理活動，明確了數據開放服務承諾與監督保障要求，為公司內部數據高效融合融通奠定了堅實的基礎”
驅動力
-風向-
4、對齊業務，解決核心業務問題
數據治理需要提出具體的業務目標，要能解決具體的業務問題，這個痛點不應該是IT部門的，也不是某個業務部門的，而應是全公司的，即帶有跨領域跨部門的特點，只有管理層感到痛的業務問題才值得去做。
比如華為公司為了解決財務風險問題啟動了數據治理項目，決定了這個數據治理項目能帶來明確的財務收益。
我們的數據治理目標大多來自于公司管理層的要求，初期設置的業務目標大概有10多項，以下是舉例：
推動A數據在網絡和市場的定義一致性，使得前端市場的需求能夠有效傳遞到后端網絡，提升投資規劃決策的科學性；
推動B領域數據采集的統一歸口管理，提升B領域數據采集的時效性，助力B領域各類業務數據的高效分析；
打破C領域數據對各部門開放的壁壘，降低匯聚周期，進一步提升各部門跨域融合數據的分析能力；
匯聚D業務涉及的核心線下商業數據，助力D業務的精確營銷；
構建完整的企業數據字典，嵌入到生產流程，助力自助生態能力的提升；
數據治理很容易做成“打造一個所謂的數據治理體系框架，建立了一堆組織，下發了一堆的規范標準.......” 以下這些都不是數據治理的目標：
成立企業數據治理委員會，下設數據治理辦公室，明確各部門數據責任人.....；
發布元數據管理辦法、數據質量管理辦法，數據共享管理辦法......;
打造企業數據目錄，構建數據開發平臺......;
重構數據開放流程，優化數據匯聚流程......;
如果公司提不出明確的業務目標，熱衷于去建立一個數據治理體系框架，就有點舍本逐末，所以產生這種問題，一般有三個原因：
- 公司對數據要素的高效配置能力理解不夠深
- 公司對數據驅動業務的現狀和問題理解不夠透
- 狹隘的部門視角或者站位太低
數據治理是一把手工程，對老板是一種挑戰，《華為數據之道》現在很多老板在看，這是有必要的。
5、推動項目，確保數據變革成功
數據團隊每年會有不少數據項目，比如元數據、數據平臺、數據采集、數據開放、主數據等等，其中一些跨領域的特性很突出，只有依托企業數據治理組織的統籌推進才能解決協同的問題，包括管理層的匯報、利益方的支持、項目的培訓及常態化的溝通。
我這里給出兩個跨領域項目的對比，高下立見：
“我們8年前建設大數據平臺，項目做這做著就變成了純粹的換計算和存儲引擎，至于如何更好的歸集各部門的數據無人關注，因為協調不動其他部門的更多配合，項目建設后數據資產沒有得到明顯增加，業務的獲得感很弱，大數據是大忽悠不是空穴來風”
“今年我們啟動了地址主數據項目的建設，需要對市場、政企、網絡、規劃和工程等五個部門的13個業務流程進行調整，涉及CRM、資管、精銷平臺、大數據平臺等10個系統的改造，橫款了BOM三域，難度遠超8年前的大數據平臺，但依托于企業數據治理組織的統籌推進，大家還是愿意配合去完成大量改造，這在2年前是不可想象的，當然其中的爭論很多，討論不下百次，但目標始終不變“
6、制定標準，規范數據管理行為
在跨部門項目的推進過程中，在上下游流程和系統的對接中，必然會涉及到語義和數據一致性的問題，如果統一了標準，不僅可以簡化流程，還可以降低協作的溝通成本。數據治理組織需要代表公司牽頭立法，包括組織標準編寫、評審及提交數據治理委員會批準。
驅動力
-風向-
數據標準滲透在每一類數據管理活動中，無論是數據架構，數據建模、數據存儲和操作、數據安全、主數據和參考數據、元數據、數據質量等等，但我們沒必要為每一類活動都去制定標準，這個取決于業務需要和管理成本的大小，因為制定和執行標準是有代價的。
比如領域一定要建立數據字典標準嗎？不一定，領域內部能溝通清楚的就沒必要建，但如果要面向企業打造一本數據字典，那么標準就有必要建立，否則其他領域看不懂。現在數據標準工作得到越來越多的重視，那是因為數字化時代數據要素共享和開放成為了趨勢，數據倉庫那個時代，少有人提標準這個事情。
我們在建設地址主數據項目中，定義了地址數據的“13+N”的標準，如下所示，這是跨領域協同必需的：
““13”指的是從省、市到戶號共13個層級；“N”指的是地址類型、標志物別名、經緯度、興趣點名稱、興趣點行業類型、描述信息6個附加信息。”
數據治理需要建立問題升級機制和流程，能將問題升級到更高的管理機構，比如數據治理委員會，數據治理團隊通過問題識別和記錄、組織討論、確認方案及向上升級，促進問題閉環的形成。
我們通過建立跨部門聯席會議和常態化溝通協作兩大機制來推進問題解決，數據問題能被放到一張圓桌上進行討論，這其實就是巨大的成功：
“一是依托數據治理辦公室，建立了定期的跨部門聯席會議制度來識別和收集問題：一種是管理層提出問題，要求我們協同各部門數據責任人推進解決，這種問題往往是需要跨部門聯動的，比如企業級數據目錄的構建、主數據的建設、數據開放管理辦法的制定、平臺工具的集約化建設等等。另一種是業務部門的數據責任人提出的需要數據治理辦公室協調解決的問題，比如寬帶長流程問題的解決，外部業務數據的歸口采集，全流程效能分分析支持等等。”
“二是建立常態化溝通協作機制，高質量落實聯席會議工作要求，包括培訓輔導、溝通協調、跟蹤通報等手段來推進問題閉環管理。”
8、監督控制，保證持續執行到位
數據管理的制度、規范和標準是紙面上的，往往是篇章式、片段的、模煳的，必需將其嵌入到數據管理相關生產流程中才能有效發揮作用。
當然數據治理不要去額外新增管理流程，而是要把要求疊加在原有業務流程之上，這會對業務帶來影響，業務部門只有接受數據治理的監管才能確保執行到位。
比如地址主數據有“13+N”的數據錄入標準，前端人員需要按照結構化的要求去錄入數據，這改變了前端業務人員的操作習慣。
數據治理在帶來全局收益的時候，可能會讓局部業務領域付出代價，因此，數據治理組織在制定規范標準的時候，一方面要協同相關業務部門充分權衡利弊，另一方面，也需要善于利用技術手段去破解規范性和靈活性的結構性矛盾。
比如地址主數據有13+N”的錄入標準碰到了業務方的強烈反對，因為影響業務受理效率，我們后來采取了分角色的管理策略，針對后端業務流程的錄入，嚴格按照規范標準錄入，對于前端業務流程的錄入，仍然沿用舊的方式，但會給出一個AI的算法做初步的格式化，再結合人工糾正的方式來解決。
相對于以前數據團隊做數據治理只是局限在數據倉庫領域，并且采取事后監督的方式去做管控，現在我們的數據治理終于能直接介入業務系統，從源端解決問題，同時采取事前事中的方式進行實時控制，并且能基于業務流程數據進行分析評估，這是跨越式的進步。
7、問題管理，推進跨域問題解決
數據治理組織既然可以建立標準，即擁有數據領域的立法權利，相應的也需要有司法的權利，即進行問題管理，問題管理包括且不限于授權、合規性、標準沖突、一致性、數據安全、數據質量等等。
雖然大多問題在數據管理團隊內部就能解決，但公司有10-20%的跨領域數據問題是無法自行解決的，但又是極其重要的，這些無法解決的問題容易被隱瞞，被忽視，深埋于地下，比如供應鏈的物資編碼問題、統計報表的口徑問題、嚴重的數據質量問題、數據快捷開放問題等等。
驅動力
-風向-
9、評估合規，確保法規合理執行
數據治理要求以業務為導向，這個業務不能簡單的理解成創造收入的業務，降低成本的業務，還應包括合規性的業務、滿意度的業務等等，比如一旦不合規，短期就可能給公司帶來收入影響。
數據治理組織一方面要去深刻的理解各類數據法規，配合公司法律、安全部門對涉及數據監管要求或審計承諾的作出響應，比如證明數據質量合格，另一方面，也要去破除那種阻礙業務正常開展的、過時的、不合理的、但又既成事實的規定。
公司涉及數據的業務流程還存在著大量的冗余的，不合理的環節和規則，但大家已經習以為常，數據治理組織需要去分析流程的堵點和卡點，推進流程的優化，從這個角度看，數據治理干的已經是數字化轉型的工作了。
比如我們在分析數據匯聚流程中發現，A部門基于條線需要設置了一些規定，導致審批環節超過11個，但這種部門流程已經不適合企業級數據的匯聚要求，因此將其精簡到了4個。
又比如在數據對內開放流程中，以前各類數據的審批都遵循同樣的流程，導致數據開放時間很長，后來通過對數據進行敏感分級并制定不同的開放策略，實現了90%以上的數據在一小時就可以開放，如下圖所示：
近幾年國家一方面下發了“三法一條例”來規范數據的使用，另一方面也在推動數據要素流動數據基礎制度的建立，公司數據治理組織也要與時俱進。
獨孤九劍，基本上涵蓋了DAMA數據治理活動的大部，其實數據治理重在“治理”兩字，要求跳出“數據”找出路，自己以前搞錯了重點，陷在“數據”里不可自拔。
文章轉自大魚的數據人生
原文鏈接：//mp.weixin.qq.com/s/-Y3H2Nx9XrTCxL1fghP_wQ
數據標準管理：基礎數據標準&指標數據標準
數據標準是系統之間，業務部門之間溝通與交換的基礎，確保大家對同一個東西的理解保持一致。
數據標準管理之基礎數據標準
數據標準定義：對數據的表達、格式及定義的一致約定，包括數據的業務屬性、技術屬性和管理屬性的統一定義。
——《JR/T0105-2014 銀行數據標準定義規范》
知識回顧
敲黑板時間到啦！上期我們介紹過數據標準分為基礎類數據標準和指標類數據標準，現在一起來回顧復習一下這些知識點吧~
基礎類數據標準：針對業務開展過程中直接產生的數據制定的標準化規范。（例如客戶編號，客戶名稱等）
什么是數據標準？
-END-
驅動力
-風向-
指標類數據：針對為滿足內部分析管理需要以及外部監管需求對基礎類數據加工產生的數據制定的標準化規范。（體現為不同粒度的統計數據和評價結果，例如不良款余額、存貸比等）
1.通過業務屬性，明確該數據標準的定位和用途；
2.通過技術屬性，明確數據類型以及系統是可實現的參數要求；
3.通過管理屬性，明確數據標準的管理組織信息；
4.通過代碼值的列示，對代碼類數據標準的劃分方式給出了權威的說明。
基礎數據標準化的意義
1.便于信息系統的管理，提高數據交換與使用的效率；
2.保證基礎數據的正確性，防止一物多碼、一物多名、物名錯亂的情況；
3.統一基礎數據，便于業務數據的匯總、報送、分析應用。
基礎數據標準內涵
基礎類數據標準通過業務屬性、技術屬性來描述數據規范化要求。可使用如下基礎數據標準的信息項屬性架構：
如何管理？
監管要求
在《銀行業金融機構數據治理指引》（下稱《指引》）第三章的數據管理部分對數據標準提出了明確的要求：
第二十條 銀行業金融機構應當建立覆蓋全部數據的標準化規劃，遵循統一的業務規范和技術標準。數據標準應當符合國家標準化政策及監管規定，并確保被有效執行。
第二十三條 銀行業金融機構應當加強數據采集的統一管理，明確系統間數據交換流程和標準，實現各類數據有效共享。
數據標準的制定要求
01?制度保障先行
應在制度中明確各個角色以及定義相應的分工界面，固化管理流程，為制定數據標準、管理數據標準提供指導性意見。
02?歸口部門發揮牽頭作用
歸口管理部門需積極發揮帶頭作用，推動和監督標準管理流程的執行。通過激勵和問責考核體系，推進數據標準工作的制定與執行落地。
03?自下而上歸納與由上而下演繹相結合
制定過程中一方面需要自下而上梳理信息系統中的數據情況，同時也需要自上而下定義數據主題、細化分類，兩者結合才能實現全面整體的數據視圖，形成有效的數據規范要求。
04?以銀行實際需求為根本
需要明確以銀行實踐及銀行需求為根本，根據業務實際個性化的制定數據標準，避免造成 “空中樓閣”，難以落地。
誰來制訂？
數據標準的制定過程離不開業務部門與技術部門的共同探討、共同商榷，不是任何一個部門的“單打獨斗”。
驅動力
-風向-
那到底什么是指標和指標類數據標準？《JR/T0137-2017銀行經營管理指標數據元》解釋道：
指標是反映銀行經營管理在一定時間和條件下的規模、程度、比例、結構等的概念和數值。
指標類數據標準則是為滿足內部分析管理需要和外部監管要求，對基礎類數據加工而產生的指標數據進行的標準化規范。
為什么要制定指標類數據標準
銀保監會在《銀行業金融機構數據治理指引》中對指標數據明確規定，要求銀行明確指標含義，統一取數規則，確保數據質量，保證監管報送指標間的一致性。這對于銀行來說是一項挑戰。但與此同時，統一指標數據標準，規范業務統計分析語言，能幫助銀行提升分析應用的數據質量，對提高全行數據質量和數據資產價值有著十分積極的意義。
指標標準如何定義？
指標數據標準可以從維度、規則和基礎指標三個方面進行定義：
規則是對指標計算統計方式給出的規范性說明，包括可復用的公共維度和業務規則。例如，基礎統計類規則：當期、累計、最低值、最高值；增長類統計規則：環比變化量、同比變化量等。
數據標準管理之指標數據標準
什么是指標類數據標準
01 維度
維度是對銀行在業務經營過程中所涉及對象的屬性進行劃分的方式。維度作為觀察事物的視角，并不孤立存在，而是通過與指標結合使用，可以對指標的不同方面進行對比與分析。?
例如，對公貸款余額，可按機構維度來統計各分支機構的對公貸款余額，也可以按行業維度來分析銀行貸款業務主要的行業分布情況，控制行業集中度或調整投向分布。
02 規則
03 基礎指標
基礎指標具備一些基本要素信息對指標進行標準化的規范說明，可以與維度及統計規則自由組合形成多視角的指標內容，拓寬了指標定義的廣度，并且提高了指標使用的靈活度。
例如：
驅動力
-熱點-
同時，指標數據標準作為分析應用的基礎，通過配合使用指標標準中的維度和維值，可以實現業務部門的自主分析，即靈活使用這些指標進行業務分析。
指標標準有何應用？
指標數據標準能夠保障各業務部門對指標在不同應用場景下業務口徑有直觀、清晰的理解。提升指標在不同應用場景下的準確度，降低由于口徑理解不一致造成的統計差異。
規則是對指標數據質量是數據管理的核心，只有高質量的數據才能為數據消費者應用，助力企業更好的使用數據來獲得洞察力、做決策和服務業務。而企業許多直接的成本，也與質量問題相關，如錯誤數據驅動的錯誤業務決策造成損失、因缺乏良好信譽而導致業務損失等等。
然而，沒有一個企業能擁有完美的業務流程、完美的技術流程或完美的數據管理實踐，所有組織都會不可避免的遇到與數據質量相關的問題。因此，需要行之有效的問題管理措施，如進行數據質量問題處理、進行數據質量問題分析、進行數據質量問題驗收等。計算統計方式給出的規范性說明，包括可復用的公共維度和業務規則。例如，基礎統計類規則：當期、累計、最低值、最高值；增長類統計規則：環比變化量、同比變化量等。
PDCA循環是質量最常用的方法論中，又稱戴明環，是全面質量管理的思想基礎和方法依據。PDCA循環的含義是將質量管理分為四個階段，即Plan（計劃）、Do（執行）、Check（檢查）和 Act（處理）。在質量管理活動中，要求把各項工作按照作出計劃、計劃實施、檢查實施效果，然后將成功的納入標準，不成功的留待下一循環去解決。
而處理階段，就主要包括質量問題記錄、分析、處理。找出影響質量問題的主要原因。并且針對主要原因，提出解決的措施并執行。而隨著問題原因的評估和解決方案的提出，循環也將重新開始。
-END-
數據質量問題管理實踐
文章來源于網易有數 ，作者楚喬
原文鏈接：//mp.weixin.qq.com/s/Sr3P33T0QCJjOzYTz8cL0A
數據質量改進方法論
01
驅動力
-熱點-
數據質量問題在數據生命周期的任何節點都可能出現，原因多種多樣。有如下常見原因：
- 缺乏系統的數據管理和治理。如領導和員工缺乏質量意識、缺乏治理手段、缺乏領導力和管理能力、沒有選擇合適的質量工具；
- 數據輸入過程引起的問題。如數據輸入接口問題、字段重載、業務流程的變更、業務流程執行混亂等；
- 數據處理功能引起的問題。如沒有定義正確的業務規則、變更數據結構等；
- 系統設計引起的問題。如由于丟失的數據被分配為默認值而導致數據準確性、未執行唯一性約束、編碼不準確等。
進行行之有效的數據質量問題管理和跟蹤需要做到以下幾點：
- 標準化數據質量問題和活動。統一企業/組織內部描述數據問題的術語以及定義，以簡化問題的分類，上下游人員溝通更加通暢。
- 提供數據問題的分配過程。數據質量問題發生后，可以由數據治理專員分配給具體責任人或專家進行診斷，并提供解決方案，可下發給具有特定專業領域知識的人員推動問題解決。
- 管理問題分級機制。數據質量問題處理能通過分級分類，區分問題影響，需要根據問題的影響、持續時間或緊急程度制定明確的升級機制，明確不同問題在數據質量SLA中的地位。
- 管理數據質量解決方案工作流。制定數據質量SLA規范，規定監控、控制和解決的目標，所有這些定義了操作工作流的集合。能通過事件跟蹤系統支持工作流管理，以跟蹤問題診斷和解決的進度。
工欲善其事，必先利其器，以往有大量的客戶依靠傳統的人工線下手工維護問題，并通過郵件分配問題。針對疑似數據質量問題，有些部門的解釋原因直接由業務核查同事直接回復給IT，沒有流程化和系統化。長期下來，歷史異常和質量問題，依靠手工整理和郵件，無法追溯和解決，數據治理效率低下。
Easydata數據質量中心的問題管理模塊，可以實現數據質量問題的跟蹤記錄，能夠收集與解決問題、分配問題處理和驗收工作、統計問題數量和發生頻率，以及維護計劃解決方案、處理記錄處理時長等信息。可以推動數據質量監控進行持續的、有依據的改進。目前在制造業、金融行業均有客戶落地應用。
數據質量問題產生的原因
02
數據質量問題管理兩個典型場景
03
高質量的數據是為了滿足業務的需求，而業務的規則是數據質量規則的重要輸入，因此，需要業務人員與技術人員一起，承擔起質量問題管理的責任。
場景一：由業務人員在使用數據時發現數據質量問題
場景二：現有數據質量規則定期監控發現問題
數據質量問題管理工具實踐
04
驅動力
-熱點-
流程協作中心可自定義設計處理流程和整改流程。
數據質量問題管理模塊，可將所有數據質量問題匯總留存，并進行處理。支持用戶主動提報問題，也可以通過配置在質量規則異常時自動進行問題提報。
可配置問題表單的自定義屬性，支持移動其在表單中的展示位置及選擇是否必填。用戶可以自定義問題管理是要包含的字段信息。
質量問題將自定義資源目錄的一種分組管理形式，系統內置校驗類型和嚴重等級兩個資源目錄。
問題詳情中可以查看和維護問題的基本信息，也可以關聯質量監控規則或者規則的某次執行結果。
驅動力
-熱點-
數據質量問題不是通過一些工具和口號就能改進的，還依賴企業內部自上到下的質量觀念樹立和資源支持。比如建設數據質量問題管理計劃、拉通業務人員和IT人員、關注數據質量報告和問題處理狀態、強化培訓等等。
問題處理有多種方式，問題處理人可以自行直接處理或關閉問題，也可派發工單加簽或轉辦問題。
最后，可以周期性的訂閱數據質量報告，定時跟蹤數據質量問題情況。
-END-
總結
05
驅動力
-調研-
調研
「數據驅動
增值電信業務經營許可證：陜B2-20210327 |