大數(shù)據(jù)架構(gòu)與關(guān)鍵技術(shù)

1、4大數(shù)據(jù)參考架構(gòu)和關(guān)鍵技術(shù)4.1大數(shù)據(jù)參考架構(gòu)大數(shù)據(jù)作為一種新興技術(shù)，目前尚未形成完善、達(dá)成共識的技術(shù)標(biāo)準(zhǔn)體系。本章結(jié)合NIST和JTC1SC32的研究成果，結(jié)合我們對大數(shù)據(jù)的理解和分析，提出了大數(shù)據(jù)參考架構(gòu)（見圖5）。圖5大數(shù)據(jù)參考架構(gòu)圖大數(shù)據(jù)參考架構(gòu)總體上可以概括為“一個(gè)概念體系，二個(gè)價(jià)值鏈維度”?！耙粋€(gè)概念體系”是指它為大數(shù)據(jù)參考架構(gòu)中使用的概念提供了一個(gè)構(gòu)件層級分類體系即“角色—活動—功能組件”，用于描述參考架構(gòu)中的邏輯構(gòu)件及其

2、關(guān)系；“二個(gè)價(jià)值鏈維度”分別為“IT價(jià)值鏈”和“信息價(jià)值鏈”，其中“IT價(jià)值鏈”反映的是大數(shù)據(jù)作為一種新興的數(shù)據(jù)應(yīng)用范式對IT技術(shù)產(chǎn)生的新需求所帶來的價(jià)值，“信息價(jià)值鏈”反映的是大數(shù)據(jù)作為一種數(shù)據(jù)科學(xué)方法論對數(shù)據(jù)到知識的處理過程中所實(shí)現(xiàn)的信息流價(jià)值。這些內(nèi)涵在大數(shù)據(jù)參考模型圖中得到了體現(xiàn)。大數(shù)據(jù)參考架構(gòu)是一個(gè)通用的大數(shù)據(jù)系統(tǒng)概念模型。它表示了通用的、技術(shù)無關(guān)的大數(shù)據(jù)系統(tǒng)的邏輯功能構(gòu)件及構(gòu)件之間的互操作接口，可以作為開發(fā)各種具體類型大數(shù)據(jù)

3、應(yīng)用系統(tǒng)架構(gòu)的通用技術(shù)參考框架。其目標(biāo)是建立一個(gè)開放的大數(shù)據(jù)技術(shù)參考架構(gòu)，使系統(tǒng)工程師、數(shù)據(jù)科學(xué)家、軟件開發(fā)人員、數(shù)據(jù)架構(gòu)師和高級決策者，能夠在可以互操作的大數(shù)據(jù)生態(tài)系統(tǒng)中制定一個(gè)解決方案，解決由各種大數(shù)據(jù)特征融合而帶來的需要使用多種方法的問題。它提供了一個(gè)通用的大數(shù)據(jù)應(yīng)用系統(tǒng)框架，支持各種商業(yè)環(huán)境，包括緊密集成的企業(yè)系統(tǒng)和松散耦合的垂直行業(yè)，有助于理解大數(shù)據(jù)系統(tǒng)如何補(bǔ)充并有別于已有的分析、商業(yè)智能、數(shù)據(jù)庫等傳統(tǒng)的數(shù)據(jù)應(yīng)用系統(tǒng)。等。在一

4、個(gè)大數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)提供者的活動通常包括采集數(shù)據(jù)、持久化數(shù)據(jù)、對敏感信息進(jìn)行轉(zhuǎn)換和清洗、創(chuàng)建數(shù)據(jù)源的元數(shù)據(jù)及訪問策略、訪問控制、通過軟件的可編程接口接口實(shí)現(xiàn)推或拉式的數(shù)據(jù)訪問、發(fā)布數(shù)據(jù)可用及訪問方法的信息等。數(shù)據(jù)提供者通常需要為各種數(shù)據(jù)源（原始數(shù)據(jù)或由其它系統(tǒng)預(yù)先轉(zhuǎn)換的數(shù)據(jù)）創(chuàng)建一個(gè)抽象的數(shù)據(jù)源，通過不同的接口提供發(fā)現(xiàn)和訪問數(shù)據(jù)功能。這些接口通常包括一個(gè)注冊表，使得大數(shù)據(jù)應(yīng)用程序能夠找到數(shù)據(jù)提供者、確定包含感興趣的數(shù)據(jù)、理解允許訪問的類

5、型、了解所支持的分析類型、定位數(shù)據(jù)源、確定數(shù)據(jù)訪問方法、識別數(shù)據(jù)安全要求、識別數(shù)據(jù)保密要求以及其他相關(guān)信息。因此，該接口將提供注冊數(shù)據(jù)源、查詢注冊表、識別注冊表中包含標(biāo)準(zhǔn)數(shù)據(jù)集等功能。針對大數(shù)據(jù)的4V特性和系統(tǒng)設(shè)計(jì)方面的考慮，暴露和訪問數(shù)據(jù)的接口需要根據(jù)變化的復(fù)雜性采用推和拉兩種軟件機(jī)制。這兩種軟件機(jī)制包括訂閱事件、監(jiān)聽數(shù)據(jù)饋送、查詢特定數(shù)據(jù)屬性或內(nèi)容，以及提交一段代碼來執(zhí)行數(shù)據(jù)處理功能。由于需要考慮大數(shù)據(jù)量跨網(wǎng)絡(luò)移動的經(jīng)濟(jì)性，接口還可

6、以允許提交分析請求（例如，執(zhí)行一段實(shí)現(xiàn)特定算法的軟件代碼），只把結(jié)果返回給請求者。數(shù)據(jù)訪問可能不總是自動進(jìn)行，可以讓人類角色登錄到系統(tǒng)提供新數(shù)據(jù)應(yīng)傳送的方式（例如，基于數(shù)據(jù)饋送建立訂閱電子郵件）。（3）大數(shù)據(jù)應(yīng)用提供者大數(shù)據(jù)應(yīng)用提供者在數(shù)據(jù)的生命周期中執(zhí)行一系列操作，以滿足系統(tǒng)協(xié)調(diào)者建立的系統(tǒng)要求及安全和隱私要求。大數(shù)據(jù)應(yīng)用提供者通過把大數(shù)據(jù)框架中的一般性資源和服務(wù)能力相結(jié)合，把業(yè)務(wù)邏輯和功能封裝成架構(gòu)組件，構(gòu)造出特定的大數(shù)據(jù)應(yīng)用系統(tǒng)。

7、大數(shù)據(jù)應(yīng)用提供者角色的扮演者包括應(yīng)用程序?qū)＜?、平臺專家、咨詢師等。大數(shù)據(jù)應(yīng)用提供者角色執(zhí)行的活動包括數(shù)據(jù)的收集、預(yù)處理、分析、可視化和訪問。大數(shù)據(jù)應(yīng)用程序提供者可以是單個(gè)實(shí)例，也可以是一組更細(xì)粒度大數(shù)據(jù)應(yīng)用提供者實(shí)例的集合，集合中的每個(gè)實(shí)例執(zhí)行數(shù)據(jù)生命周期中的不同活動。每個(gè)大數(shù)據(jù)應(yīng)用提供者的活動可能是由系統(tǒng)協(xié)調(diào)者、數(shù)據(jù)提供者或數(shù)據(jù)消費(fèi)者調(diào)用的一般服務(wù)，如Web服務(wù)器、文件服務(wù)器、一個(gè)或多個(gè)應(yīng)用程序的集合或組合。每個(gè)活動可以由多個(gè)不同實(shí)例

8、執(zhí)行，或者單個(gè)程序也可能執(zhí)行多個(gè)活動。每個(gè)活動都能夠與大數(shù)據(jù)框架提供者、數(shù)據(jù)提供者以及數(shù)據(jù)消費(fèi)者交互。這些活動可以并行執(zhí)行，也可以按照任意的數(shù)字順序執(zhí)行，活動之間經(jīng)常需要通過大數(shù)據(jù)框架提供者的消息和通信框架進(jìn)行通信。大數(shù)據(jù)應(yīng)用提供者執(zhí)行的活動和功能，特別是數(shù)據(jù)收集和數(shù)據(jù)訪問活動，需要與安全和隱私角色進(jìn)行交互，執(zhí)行認(rèn)證授權(quán)并記錄或維護(hù)數(shù)據(jù)的出處。收集活動用于處理與數(shù)據(jù)提供者的接口。它可以是一般服務(wù)，如由系統(tǒng)協(xié)調(diào)者配置的用于接收或執(zhí)行數(shù)據(jù)收

9、集任務(wù)的文件服務(wù)器或Web服務(wù)器；也可以是特定于應(yīng)用的服務(wù)，如用來從數(shù)據(jù)提供者拉數(shù)據(jù)或接收數(shù)據(jù)提供者推送數(shù)據(jù)的服務(wù)。收集活動執(zhí)行的任務(wù)類似于ETL的抽取（extraction）環(huán)節(jié)。收集活動接收到的數(shù)據(jù)通常需要大數(shù)據(jù)框架提供者的處理框架來執(zhí)行內(nèi)存隊(duì)列緩存或其他數(shù)據(jù)持久化服務(wù)。預(yù)處理活動執(zhí)行的任務(wù)類似于ETL的轉(zhuǎn)換（transfmation）環(huán)節(jié)，包括數(shù)據(jù)驗(yàn)證、清洗、去除異常值、標(biāo)準(zhǔn)化、格式化或封裝。預(yù)處理活動也是大數(shù)據(jù)框架提供者歸檔存儲