183.17.231.* 2020-06-05 11:08:07 |
數據是一種珍貴資產。尤其是在當今快消品當道的背景下,你需要數據來幫助你準確定位、深度投入和優化前景。如果你不能合理的管理這些數據,就可能會錯失良機、降低效率,甚至對你的盈虧造成負面影響。那么針對數據質量低該如何結局,有哪些合適的解決方法?
1、事前預防
制定質量管理機制:基于數據管理的復雜性和誘因的多重性特點,解決數據質量問題僅僅依靠一個技術工具是不夠的,我們需要建立長效工作機制。即根據組織特點,制定符合自身環境的工作制度,制定每個環節的工作流程,規定各個參與方的責任,確定各項數據的部門,制定數據質量指標,制定數據質量修復流程等等。
制定數據質量標準:數據標準成功定義的與否,直接決定了大數據建設的成果和數據質量的高低,需要在融合國家標準、行業標準和地方標準的基礎上,融合組織自身的業務特色需求。
2、事中監控
監控原始數據質量:數據采集工作從數據源頭獲取原始的數據,在數據采集過程中將數據分為“好數據”“壞數據”,“好數據”入庫,“壞數據”則反饋給源頭修復,因為數據來源部門懂這些數據,也能在源頭上把數據問題徹底修復掉。
監控數據中心質量:經過各種采集、清洗、加工過程,數據被存入數據倉庫中,這些數據也將被業務部門使用,所以,對于這些成果數據的質量監控和修復則猶為重要。對于這類數據問題,我們可能使用簡單的空值檢查、規范性檢查、值域檢查、邏輯檢查、一致性檢查、等等規則就可以檢查出來,也可能需要諸如多源比較、數據佐證、數據探索、波動檢查、離群檢查等等方法才可以檢查出來。
反饋數據質量問題:數據質量監控過程中,會發現兩類問題,一類是源頭的數據質量問題,一類是數據中心的數據質量問題,數據質量團隊需要將這些問題及時反饋給源頭部門和數據倉庫建設團隊。
3、事后改善
修復數據質量問題:發現質量問題不是終的目標,我們仍要建立相關的流程和工具,通過手工、工單、自動化等等手段將質量問題修復掉,從而為業務創新提供可靠的數據支撐。
收集數據質量需求:通過數據中心的建設,質量問題的修復,必然能夠促進數據的應用,我們仍要建立通暢的數據質量反饋通道,讓各個部門參與到數據質量的再次完善中來,從而形成建設、應用和反饋的良性循環。
完善質量管理制度:制度和流程的建設并不是一蹴而就的,我們要在數據建設和質量完善的過程中,結合自身組織結構和業務特色,不斷完善工作制度。
完善數據質量標準:各行各業不斷涌現新的業務形態,原有的業務也在不斷的變化,我們要緊跟業務的變化,不斷完善符合業務需求的數據標準。
完善質量監測模型:如前所述,監測模型代表的業務需求,業務形態的變化、數據標準的變化和質量新需求的出現,同樣要求監測模型能夠做出相應的變化。
數據質量低該如何解決.中琛魔方大數據分析平臺(www.zcmorefun.com)表示大數據時代帶來了海量、多樣、非結構化的數據,我們得以進行更加廣泛且深入的分析,但這必須建立在高質量的數據上才有意義。 |