1、由于Hadoop MapReduce等大數據處理平臺的處理性能一直在不斷提升，使得大數據處理成為了IT業(yè)界內最受關注的領域。在這些大數據處理平臺中，Spark框架從被提出來之后變得越來越流行。相對于傳統(tǒng)的Hadoop MapReduce編程模型的key-value編程，Spark的編程模型中提供了更多對于集合操作的支持使得 Spark編程本身更容易學習使用。
　　由于Spark的是一個完全在內存中計算的框架，它相對于Hadoop

2、MapReduce在性能上有極大的提升。當Spark任務發(fā)生失敗或者RDD讀取未中的時候，Spark會重新計算丟失RDD的依賴路徑（lineage）上所有丟失RDD。一個非常長的依賴路徑不僅會增加重新計算的代價，同時也會耗費更多的時間與空間代價。Spark中的檢查點會切斷 RDD的依賴關系同時將數據存儲到磁盤上，檢查點頻率的選擇會極大的影響整個程序的性能。但是原生Spark檢查點需要由應用程序開發(fā)人員來進行設置，檢查點的設置過于頻繁會使

3、系統(tǒng)性能下降?；蛘弋斚到y(tǒng)配置變更后原有應用程序上的檢查點設置可能并不會很好的適應新的系統(tǒng)環(huán)境。
　　本文在研究與分析 Spark源代碼并進行驗證實驗的基礎上，發(fā)現了相應模塊上的不足。針對發(fā)現的問題探索設計并實現三種在Spark上的自動化檢查點策略來解決由長依賴路徑帶來的額外開銷，同時使得檢查點給性能本身帶來的影響較小。這個自動化的檢查點主要具有以下功能：
　　1)根據RDD依賴路徑關系自動選擇正確的檢查點數據進行保存。在Sp

4、ark應用的一次任務過程中會產生非常多的RDD，在進行檢查點數據保存時，挑選出依賴路徑上關鍵RDD數據進行保存。
　　2)選擇合適的檢查點執(zhí)行時間。根據內存使用情況以及檢查點執(zhí)行耗時等影響因素來平衡選擇檢查點執(zhí)行時機，在不造成過多額外時間開銷的情況下提高應用程序模塊的運行效率。
　　3)自動清理已經過期的檢查點數據。在新的檢查點完成之后刪除之前保存且并不需要的檢查點數據。采用SSD來存儲檢查點數據以提高存儲讀寫效率。