您的位置:首頁 > 資訊 > 行業(yè)動(dòng)態(tài) > 正文

建設(shè)大數(shù)據(jù)平臺(tái),從“治理”數(shù)據(jù)談起

2017-06-26 09:27 性質(zhì):轉(zhuǎn)載 作者:EAWorld 來源:EAWorld
免責(zé)聲明:中叉網(wǎng)(m.m21363.cn)尊重合法版權(quán),反對(duì)侵權(quán)盜版。(凡是我網(wǎng)所轉(zhuǎn)載之文章,文中所有文字內(nèi)容和圖片視頻之知識(shí)產(chǎn)權(quán)均系原作者和機(jī)構(gòu)所有。文章內(nèi)容觀點(diǎn),與本網(wǎng)無關(guān)。如有需要?jiǎng)h除,敬請(qǐng)來電商榷?。?/div>

(2)第二階段:建立管理流程,落地?cái)?shù)據(jù)標(biāo)準(zhǔn),提升數(shù)據(jù)質(zhì)量

  在第二階段,需要建立大數(shù)據(jù)管控能力,包括從業(yè)務(wù)的角度梳理企業(yè)數(shù)據(jù)質(zhì)量問題,形成質(zhì)量控制能力,形成核心數(shù)據(jù)標(biāo)準(zhǔn),并抓標(biāo)準(zhǔn)落地。針對(duì)關(guān)鍵問題,建立數(shù)據(jù)的管理流程,少而精,控制核心問題。

  在這個(gè)階段主要是為數(shù)據(jù)部門形成一套管理大數(shù)據(jù)的能力,同時(shí)為數(shù)據(jù)部門形成數(shù)據(jù)管理的工作環(huán)境。

(3)第三階段:直接為用戶提供價(jià)值,向用戶提供數(shù)據(jù)微服務(wù)

  通過前兩個(gè)階段,企業(yè)能夠建立基本的數(shù)據(jù)治理的能力,在此基礎(chǔ)上,還需要以用戶為中心,為用戶提供直接獲取數(shù)據(jù)的能力。第三階段依賴于前兩個(gè)階段能力的建設(shè),在這個(gè)階段的目標(biāo)是向用戶提供自助化的數(shù)據(jù)服務(wù),使用戶能夠自助地獲取和使用數(shù)據(jù),并且在用戶的使用過程中再反過去進(jìn)一步落地標(biāo)準(zhǔn)、控制質(zhì)量。

(4)第四階段:智能化企業(yè)知識(shí)圖譜,為全企業(yè)提供數(shù)據(jù)價(jià)值

  最后一個(gè)階段是將數(shù)據(jù)沉淀成為知識(shí),形成企業(yè)的知識(shí)圖譜,提供從“關(guān)系”的角度去分析問題的能力。

  人進(jìn)行數(shù)據(jù)搜索是通過業(yè)務(wù)術(shù)語(知識(shí))來搜索的,而知識(shí)之間是有相互聯(lián)系的,例如水果和西紅柿是上下位關(guān)系(后者是前者的具體體現(xiàn)),好的搜索除了要列出直接結(jié)果,還需要顯示與之關(guān)聯(lián)的知識(shí),這就要建立知識(shí)圖譜。

  簡單說知識(shí)圖譜就是概念、屬性以及概念之間的關(guān)聯(lián)關(guān)系,這個(gè)關(guān)系可以手工建立,也能通過自然語言處理等方法,對(duì)政策、法規(guī)、需求、數(shù)據(jù)庫comments、界面等多種來源進(jìn)行分析,自動(dòng)化建立起企業(yè)知識(shí)圖譜。從而使數(shù)據(jù)治理成為整個(gè)企業(yè)的數(shù)據(jù)工作環(huán)境,強(qiáng)化企業(yè)數(shù)據(jù)與知識(shí)體系之間的關(guān)聯(lián),加快企業(yè)員工數(shù)據(jù)與知識(shí)之間的轉(zhuǎn)換效率,讓數(shù)據(jù)的深層價(jià)值得以體現(xiàn)。

  通過這四個(gè)階段的建設(shè),使數(shù)據(jù)治理平臺(tái)由數(shù)據(jù)部門的工作環(huán)境,轉(zhuǎn)變成為全企業(yè)的數(shù)據(jù)工作環(huán)境,以用戶為中心,讓用戶能夠直接使用大數(shù)據(jù),并通過用戶的使用來管理數(shù)據(jù),持續(xù)優(yōu)化數(shù)據(jù)質(zhì)量,在達(dá)到治理數(shù)據(jù)目標(biāo)的同時(shí),也最大限度發(fā)揮了數(shù)據(jù)的價(jià)值。

三、面向用戶的自服務(wù)大數(shù)據(jù)治理架構(gòu)

自服務(wù)大數(shù)據(jù)治理架構(gòu)

  以用戶為中心的自服務(wù)大數(shù)據(jù)治理技術(shù)架構(gòu)包括五部分:數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)監(jiān)控管理、數(shù)據(jù)準(zhǔn)備平臺(tái)、數(shù)據(jù)服務(wù)總線,消息與流數(shù)據(jù)管理。

  整個(gè)平臺(tái)分為五塊核心能力:數(shù)據(jù)資產(chǎn)、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)服務(wù)總線、消息&流數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控管理。

  數(shù)據(jù)資產(chǎn)管理是對(duì)企業(yè)數(shù)據(jù)信息統(tǒng)一管理也是整個(gè)平臺(tái)的基礎(chǔ),數(shù)據(jù)準(zhǔn)備平臺(tái)是資產(chǎn)服務(wù)化的加工廠,它不但能將原始數(shù)據(jù)通過服務(wù)形式以用戶能看懂的方式提供,也可以通過在線數(shù)據(jù)模型設(shè)計(jì)實(shí)現(xiàn)最終數(shù)據(jù)產(chǎn)品的發(fā)布,起到承上啟下的作用。

  數(shù)據(jù)服務(wù)總線和消息&流數(shù)據(jù)管理的價(jià)值層次是一致的,只是從數(shù)據(jù)時(shí)效性上面對(duì)數(shù)據(jù)進(jìn)行了區(qū)分,去適應(yīng)用戶不同的管理和應(yīng)用訴求。起到數(shù)據(jù)通道和安全管理兩個(gè)核心內(nèi)容。

  數(shù)據(jù)監(jiān)控管理有別于大數(shù)據(jù)中的數(shù)據(jù)節(jié)點(diǎn)管理,而是從數(shù)據(jù)管理的視角切入對(duì)數(shù)據(jù)的結(jié)構(gòu)的變化、關(guān)系的變化進(jìn)行管理和控制,它是數(shù)據(jù)持續(xù)發(fā)揮價(jià)值的監(jiān)管者。

自服務(wù)大數(shù)據(jù)治理的關(guān)鍵技術(shù)

(1)人工智能的知識(shí)圖譜構(gòu)建

主要有三個(gè)步驟

a、基于企業(yè)元數(shù)據(jù)信息,通過自然語言處理、機(jī)器學(xué)習(xí)、模式識(shí)別等算法,以及業(yè)務(wù)規(guī)則過濾,實(shí)現(xiàn)知識(shí)提??;
b、以本體形式表示和存儲(chǔ)知識(shí),自動(dòng)構(gòu)建成起資產(chǎn)知識(shí)圖譜;
c、通過知識(shí)圖譜關(guān)系,利用智能搜索、關(guān)聯(lián)查詢手段,為最終用戶提供更加精確的數(shù)據(jù);

(2)細(xì)粒度的敏感信息控制

  數(shù)據(jù)內(nèi)容安全管理包括對(duì)IT系統(tǒng)和數(shù)據(jù)進(jìn)行敏感度等級(jí)劃分的定義、瀏覽、檢核,輔助安全規(guī)則在業(yè)務(wù)、技術(shù)領(lǐng)域的應(yīng)用。從功能上包括數(shù)據(jù)敏感性分級(jí)、系統(tǒng)敏感性分級(jí),數(shù)據(jù)安全策略定義管理,安全策略輸出,安全管理報(bào)告,數(shù)據(jù)安全檢核,敏感數(shù)據(jù)角色管理,敏感數(shù)據(jù)權(quán)鑒管理及相關(guān)電子審批流程。

(3)自助化的大數(shù)據(jù)服務(wù)生產(chǎn)線

這里有4個(gè)關(guān)鍵點(diǎn):
a、自助的查詢到想要的數(shù)據(jù);
b、自動(dòng)的生成數(shù)據(jù)服務(wù);
c、及時(shí)穩(wěn)定的獲得數(shù)據(jù)通道;
d、數(shù)據(jù)安全有保證;

  通過自助化的數(shù)據(jù)生產(chǎn)線,數(shù)據(jù)使用方(業(yè)務(wù)人員)大大減少了對(duì)開發(fā)人員依賴,80%以上的數(shù)據(jù)需求,都能通過自己進(jìn)行整合開發(fā),最終獲取數(shù)據(jù)。讓所有用數(shù)據(jù)的人能方便得到想要的數(shù)據(jù)。

(4)多維度實(shí)時(shí)的數(shù)據(jù)資產(chǎn)信息的展示

  數(shù)據(jù)治理平臺(tái)提供實(shí)時(shí)、全面的數(shù)據(jù)監(jiān)控,不僅能從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點(diǎn),還能對(duì)數(shù)據(jù)及時(shí)性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進(jìn)行全面的預(yù)警。

(5)以業(yè)務(wù)元模型為核心的數(shù)據(jù)微服務(wù)

  數(shù)據(jù)需要以服務(wù)的形式提供給最終用戶,在服務(wù)的提供上不能再采用傳統(tǒng)的方式,而需要用微服務(wù)的方式提供,每個(gè)單獨(dú)數(shù)據(jù)微服務(wù)自己對(duì)所提供數(shù)據(jù)做緩存,在其中利用元數(shù)據(jù)能力,把知識(shí)(業(yè)務(wù)模型)與技術(shù)(數(shù)據(jù)模型)相結(jié)合,從而向最終數(shù)據(jù)用戶提供多種數(shù)據(jù)能力,使用戶能夠以多種方式使用數(shù)據(jù)。

  最后在整個(gè)大數(shù)據(jù)治理平臺(tái)的構(gòu)建中還需要滿足一系列原則,詳情參考我寫過的《敏捷數(shù)據(jù)管理的12個(gè)技術(shù)原則》。

四、總結(jié)

  大數(shù)據(jù)時(shí)代,企業(yè)急需建立以用戶為中心的自服務(wù)大數(shù)據(jù)治理,信息梳理、數(shù)據(jù)管控、連接用戶、智能化是實(shí)現(xiàn)自服務(wù)大數(shù)據(jù)治理的四個(gè)主要階段,掌握一系列關(guān)鍵技術(shù)和技術(shù)原則,是實(shí)現(xiàn)自服務(wù)大數(shù)據(jù)治理的重要基礎(chǔ)。

1234下一頁

網(wǎng)友評(píng)論
文明上網(wǎng),理性發(fā)言,拒絕廣告

相關(guān)資訊

關(guān)注官方微信

手機(jī)掃碼看新聞