對于企業(yè)來說，坐擁龐大的數(shù)據(jù)資源，想要實(shí)現(xiàn)大數(shù)據(jù)分析，首先要建立自己的大數(shù)據(jù)系統(tǒng)平臺，每個(gè)公司都有自己的具體業(yè)務(wù)場景，因此對大數(shù)據(jù)平臺的要求也不同。今天我們僅從通用的角度，來聊聊大數(shù)據(jù)分析需要什么技術(shù)架構(gòu)?



　　不同的業(yè)務(wù)場景下，需要根據(jù)實(shí)際的業(yè)務(wù)需求，選擇適合自己的技術(shù)框架，來搭建自己的大數(shù)據(jù)架構(gòu)體系。但是從技術(shù)架構(gòu)體系的共性來說，是可以從通用的技術(shù)模塊去理解，來幫助我們更好地學(xué)習(xí)和掌握大數(shù)據(jù)技術(shù)架構(gòu)的。



　　大數(shù)據(jù)分析技術(shù)架構(gòu)通用模塊：



　　數(shù)據(jù)收集模塊：主要負(fù)責(zé)收集各種數(shù)據(jù)源的數(shù)據(jù)，包括日志文件、網(wǎng)絡(luò)請求、數(shù)據(jù)庫、消息隊(duì)列等，并將這些數(shù)據(jù)轉(zhuǎn)換為文件或者消息向后傳遞。



　　數(shù)據(jù)轉(zhuǎn)存模塊：主要負(fù)責(zé)將數(shù)據(jù)定時(shí)傳遞到分布式存儲或者實(shí)時(shí)傳遞給下游的數(shù)據(jù)處理程序。



　　ETL模塊：主要負(fù)責(zé)數(shù)據(jù)的清洗、格式和內(nèi)容的處理和轉(zhuǎn)換、數(shù)據(jù)分級分揀、加載至數(shù)據(jù)倉庫等。



　　數(shù)據(jù)倉庫模塊：這是整個(gè)架構(gòu)的核心，數(shù)據(jù)倉庫是數(shù)據(jù)有組織的集中存儲的地方，負(fù)責(zé)數(shù)據(jù)的存取和管理。



　　元數(shù)據(jù)管理模塊：主要負(fù)責(zé)記錄和約束數(shù)據(jù)倉庫中數(shù)據(jù)的含義和格式，控制著數(shù)據(jù)的生命周期和數(shù)據(jù)質(zhì)量。



　　分析引擎模塊：數(shù)據(jù)分析師交互最多的模塊，主要負(fù)責(zé)執(zhí)行各種分析語句或代碼，完成各種分析任務(wù)。



　　作業(yè)管理與調(diào)度模塊：負(fù)責(zé)分析作業(yè)的管理和定時(shí)調(diào)度，包括作業(yè)的增刪改查、查看修改歷史、設(shè)置調(diào)度定時(shí)和執(zhí)行引擎等。



　　資源分配與調(diào)度模塊：主要負(fù)責(zé)在多作業(yè)同時(shí)運(yùn)行的場景下，**協(xié)調(diào)和分配集群的資源，使資源利用率**化。



　　大數(shù)據(jù)分析技術(shù)架構(gòu)的通用模塊.中琛魔方大數(shù)據(jù)平臺(zcmorefun.com)表示大數(shù)據(jù)的技術(shù)結(jié)構(gòu)需要與實(shí)際業(yè)務(wù)、學(xué)習(xí)階段相結(jié)合，先從通用層面去掌握，實(shí)際工作當(dāng)中還需持續(xù)積累經(jīng)驗(yàn)，才能真正地掌握扎實(shí)，融會貫通。