1、隨著信息化水平的逐漸提高，數據的重要性得到了各個行業(yè)特別是互聯網公司的重視。對數據的提取、分析、挖掘為互聯網企業(yè)決策提供了重要依據，同時使企業(yè)對市場的細分更為精確，能夠更準確的為客戶定制服務，使企業(yè)與客戶的利益最大化。“廣告投放”已經成為互聯網行業(yè)重要的吸金與服務方式之一，互聯網對廣告數據的重視程度也達到了空前的高度。目前，由于互聯網用戶激增，大型搜索網站每日產生的廣告數據可以達到100G級甚至T級，在如此海量的數據面前要對新舊數據的及

2、時查詢與分析，傳統(tǒng)的數據庫或數據倉庫無法滿足。在此背景下，公司決定開發(fā)分布式數據倉庫系統(tǒng)來對當前的迫切需求進行支持。
　　該分布式數據倉庫系統(tǒng)使用C++語言開發(fā)，利用分布式系統(tǒng)進行海量數據的存儲，設計數據分布式存儲結構，利用自動分區(qū)和物化視圖等方法提高查詢效率。根據不同的功能需求，系統(tǒng)劃分為調度模塊、元數據管理模塊、數據導入模塊、查詢模塊和數據存儲模塊。調度模塊實現對各個模塊的調度及監(jiān)控功能;數據導入模塊支持對大數據的批量導入及數

3、據恢復，同時生成對應的物化視圖以提高查詢效率。元數據管理模塊通過對Hadoop子項目Zookeeper系統(tǒng)的封裝，完成對系統(tǒng)數據的安全存儲并支持實時查詢。查詢模塊為多種查詢方式提供接口、生成查詢計劃、執(zhí)行查詢過程、返回查詢結果。數據存儲模塊主要負責對海量數據進行分布式存儲。本人主要負責查詢模塊的設計與開發(fā):設計查詢模塊的層次架構制定查詢副本選擇策略、設計與實現查詢計劃的生成方式、實現各種查詢方式的接口、設計實現查詢模塊的異常處理機制等。