<dfn id="d7jtv"><b id="d7jtv"><dl id="d7jtv"></dl></b></dfn>

              <meter id="d7jtv"></meter>
              

              <font id="d7jtv"><output id="d7jtv"><noframes id="d7jtv">

              數據治理的兩大基礎:數據標準管理體系與數據質量管理體系

              2019-03-19 17:34 來源:網絡
              瀏覽量: 收藏:0 分享

                完成數據治理體系的整體規劃后,需要針對體系內的六大環節開始逐個突破。作為數據治理體系最前端的兩個環節,數據標準管理體系和數據質量管理體系可謂整個數據治理工作中的“基礎支撐”,今天就來介紹這兩部分的工作應該如何進行。

                數據標準管理體系

                一、統一管理流程

                目前全校范圍內缺乏專業化的信息標準管理流程,部門間缺乏溝通的統一渠道,導致標準變更和發布缺乏制度化要求,容易形成難以清理的問題數據。在短期規劃中,首要提升快速解決業務難題的能力,降低業務操作復雜度。

                因此,采用簡明實用的管理流程是標準化快速見效的重要手段??梢詤⒖既鐖D5的信息標準化管理流程。

                1.管理流程:包含信息標準的新建、修改、注銷和發布等相關流程。

                2.應用流程:信息標準在需求編制時的應用、沖突協調解決流程。

              image.png

              圖5 信息標準化管理流程

                二、數據標準建設

                1、現狀分析

                進行系統調研、建立數據字典以及數據接口的規劃和架構

                分析和診斷差距、不足、工作重點

                2、定義初稿

                定義標準體系

                定義內容、主題分類、數據屬性、代碼

                3、意見征詢

                意見征詢、宣傳講解、意見收集

                意見審議、意見分析、修訂完善

                4、現狀分析

                標準會簽

                標準發布

              image.png

              圖6 數據標準視圖

                數據質量管理體系

                一、全量數據質量監控系統DQAS——瑤光

                隨著DT時代的到來,各種數據管理、利用方法日新月異。然而數據預處理、數據質量管理技術的發展卻相對有限,很多數據預處理和質量問題,需要人工手工完成。據統計,對數據進行利用之前的預處理工作占整個數據工作量的70%——80%,我們迫切需要對數據質量進行監控。

                DQAS全量數據質量監控系統(全量數據產品線“北斗七星”中的一員,我們稱作“玉衡”),這是康賽基于EDQAF教育數據質量評估框架(元規則庫)自主研發的數據質量監控系統,可以更高效率地進行數據質量管理,為后續數據利用提供更好基礎。

                DQAS集數據快速評估(列剖析)、數據質量檢測、數據質量量化監控、數據質量報告,臟數據庫管理于一體,利用EDQAF元規則,有針對性地創建全面的數據質量業務規則庫。其功能特性有:

                ·      無SQL代碼,可視化業務檢測規則設計

                ·      大數據可視化數據質量報告

                ·      業務部門數據質量獨立報告

                ·      “臟數據庫”管理,數據質量治理的真憑實據

                技術特性有:

                ·      首個EDQAF教育數據質量聯機評估框架

                ·      規則描述語言RDL支持規則遷移

                ·      敏捷數據剖析

                ·      相似重復數據標記

                ·      數據質量Q值量化指標

                ·      基于內存數據庫操作,大幅提高效率

                ·      基于數據可視化技術的質量報告管理

                二、數據質量管理閉環

              image.png

              圖6 數據質量管理系統技術架構

                在數據源層,DQAS支持各種數據庫,支持Oracle、Mysql、Sybase、 DB2等各種主流數據庫。

                在業務層, 利用EDQAF元規則,結合業務和數據質量監控點可以產生數據質量規則庫,規則的執行由DQAS-Engine完成。

                DQAS實現了測量規則運行環境與規則設計環境的分離,任務以服務的形式運行。通過網絡連接,用戶可以遠程添加、刪除數據剖析及監控任務,可以遠程控制(啟動、停止、定時、設置優先級等)任務的執行,遠程查看任務執行狀況。

                核心組件EDQAF元規則、業務測量規則RDL,臟數據庫管理DDM是實現數據質量監控的關鍵技術。EDQAF元規則最主要的功能是定義完善的數據質量體系基本規則。業務測量規則RDL是按照業務場景配置產生的數據質量檢測規則,系統會生產RDL語言描述業務測量規則。臟數據管理是將數據質量測量中發現的數據進行標示、隔離存儲,以便于后續的數據清洗和數據變更,同時臟數據庫也可以用于錯誤數據模式挖掘,為將來的智能數據質量檢測做好準備。

              標簽:

              責任編輯:bozhihua
              在線客服
              中文字幕乱妇无码Av在线

                <dfn id="d7jtv"><b id="d7jtv"><dl id="d7jtv"></dl></b></dfn>

                          <meter id="d7jtv"></meter>
                          

                          <font id="d7jtv"><output id="d7jtv"><noframes id="d7jtv">