183.17.229.* 2020-12-14 13:36:43 |
大數據的應用開發過于偏向底層,具有學習難度大,涉及技術面廣的問題,這制約了大數據的普及。大數據架構是大數據技術應用的一個非常常見的形式,而今天就來分析了解一下,大數據架構組件包含哪些內容。
數據源
所有大數據架構都從源代碼開始。這可以包含來源于數據庫的數據、來自實時源(如物聯網設備)的數據,及其從應用程序(如Windows日志)生成的靜態文件。
實時消息接收
假如有實時源,則需要在架構中構建一種機制來攝入數據。
數據存儲
公司需要存儲將通過大數據架構處理的數據。一般而言,數據將存儲在數據湖中,這是一個可以輕松擴展的大型非結構化數據庫。
批處理和實時處理的組合
公司需要同時處理實時數據和靜態數據,因而應在大數據架構中內置批量和實時處理的組合。這是由于能夠應用批處理**地處理大批量數據,而實時數據需要立刻處理才能夠帶來價值。批處理涉及到長期運轉的作業,用于篩選、聚合和準備數據開展分析。
分析數據存儲
準備好要分析的數據后,需要將它們放到一個位置,便于對整個數據集開展分析。分析數據儲存的必要性在于,公司的全部數據都聚集在一個位置,因而其分析將是**的,而且針對分析而非事務進行了優化。這可能采用基于云計算的數據倉庫或關系數據庫的形式,具體取決于公司的需求。
分析或報告工具
在攝入和處理各類數據源之后,公司需要包含一個分析數據的工具。一般而言,公司將使用BI(商業智能)工具來完成這項工作,而且或者需要數據科學家來探索數據。
大數據系統架構包含哪些內容.中琛魔方大數據平臺(www.zcmorefun.com)表示數據來源途徑越來越豐富,而且類型也很多花樣,存儲和數據處理的需求量很大,對于數據展現也非常的高,并且很看重數據處理的**性和可用性。 |