數據分析工作雖然隱藏在業務系統背后，但是具有非常重要的作用，數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展，數據挖掘、數據探索等專有名詞曝光度越來越高，今天我們就再來了解一下，大數據架構的組成模塊都包含了哪些。



　　大數據架構的組成模塊都包含了哪些



　　1、數據收集模塊



　　主要負責收集各種數據源的數據，包括日志文件、網絡請求、數據庫、消息隊列等，并將這些數據轉換為文件或者消息向后傳遞。



　　2、數據轉存模塊



　　主要負責將數據定時傳遞到分布式存儲或者實時傳遞給下游的數據處理程序。



　　3、ETL模塊



　　主要負責數據的清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫等。



　　4、數據倉庫模塊



　　這是整個架構的核心，數據倉庫是數據有組織的集中存儲的地方，負責數據的存取和管理。



　　5、元數據管理模塊



　　主要負責記錄和約束數據倉庫中數據的含義和格式，控制著數據的生命周期和數據質量。



　　6、分析引擎模塊



　　數據分析師交互多的模塊，主要負責執行各種分析語句或代碼，完成各種分析任務。



　　7、作業管理與調度模塊



　　負責分析作業的管理和定時調度，包括作業的增刪改查、查看修改歷史、設置調度定時和執行引擎等。



　　8、資源分配與調度模塊



　　主要負責在多作業同時運行的場景下，**協調和分配集群的資源，使資源利用率大化。



　　大數據架構的組成模塊.中琛魔方大數據分析平臺(www.zcmorefun.com)表示基于分布式技術構建的大數據平臺能夠**降低數據存儲成本，提升數據分析處理效率，并具備海量數據、高并發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。