大數據分析平臺的搭建有利于幫助企業構建統一的數據存儲和數據處理資源，圍繞企業業務開展大數據應用建設，最終形成面向服務化的數據資產。而今天我們就來了解一下，常見的大數據平臺都包含哪些層次？



　　1、數據采集層：分3個層面的采集技術進行支持，一是傳統業務系統數據庫和半結構化、結構化數據的采集和集成，如采用Sqoop技術進行關系數據庫和Hadoop系統之間的數據抽取和交換;二是交通實時流數據的采集，包括實時傳感器數據、定位軌跡數據和其他實時流數據;三是交通公共數據的采集，包括公網的數據爬取、開放平臺的數據接口、行業公共數據庫的數據交換等。對采集到的數據需進行提取、轉換和加載(extract-transform-load，ETL)處理，包括數據抽取、轉換、清洗和隱私**等預處理工作，預處理集成后的數據進入交通大數據云存儲中心。



　　2、數據存儲層：交通領域數據規模巨大，數據存儲層需設計基于云計算的分布式云存儲系統，以支持海量數據的存儲擴展。提供基于云的列式存儲、NoSQL存儲或數據倉庫存儲能力;根據業務需求和快速配置，可切換相應的分布式存儲模式，還可根據需要對傳統BI系統的數據倉庫和數據集市進行集成。利用Hadoop集群提供PB級存儲能力擴展，同時Hadoop YARN和Spark Mesos等集群資源管理框架可支持多種存儲模式和計算模式在此基礎上，對各類存儲數據進行多粒度信息融合，構建統一數據處理單元，為計算服務層提供標準化的分析數據集。



　　3、數據計算層：針對交通大數據多源、異構、海量等特征，傳統的計算模型難以直接處理。數據計算層需滿足主流大數據處理框架的各種計算模型與方法實現，如基于云計算并行框架，實現基于Hadoop批處理、Storm流處理、Spark內存處理的**數據挖掘與機器學習。數據計算層采用基于統一數據處理單元和計算模式、模型微服務化的大數據分析框架，通過構建多種微服務簇網絡，為應用層提供支持MapReduce、Storm、Spark等多種計算模式下的多種數據挖掘模型與方法(如分類、聚類、序列等);根據大數據分析需求和數據特征，可基于組件配置和服務治理技術進行各類服務的快速切換和靈活管理。



　　4、數據應用層：數據應用層首先要滿足智慧交通各類大數據分析需求，包括基本的可視化與查詢、展示、探索等，分析結果能結合知識庫應用于決策支持。另外，大數據系統本身管理方面，針對構件化和微服務設計，需對相關中間件進行設計，實現服務治理、組件配置、安全、接口等功能，以支撐存儲層和計算層各類微服務的敏捷管理。



　　大數據平臺搭建包含哪些層級.中琛魔方大數據平臺(www.zcmorefun.com)表示平臺的每個子系統都包含不同的功能，不同功能的模塊組合成一個具有實際應用價值的大數據分析平臺，實現對各種業務的前瞻性預測和分析，為用戶提供統一的決策分析支持，從而更好地突出平臺本身的價值。