1、隨著Internet的迅速發(fā)展和普及，Web相關組織收集了海量Web日志數據，其中蘊藏著大量有用的信息和知識，而這些信息和知識可以被用來設計產品、判斷客戶生命周期、優(yōu)化Web應用程序功能、為用戶提供更個性化的內容以及在Web空間找到最有效的邏輯結構等。因此，海量Web日志數據一直具有重要的實際意義。
　　傳統(tǒng)的串行計算方法已難以處理如此龐大的數據，而云計算技術可以有效處理海量數據。Hadoop是Apache軟件基金會旗下的一個開源

2、分布式計算平臺。以HDFS和MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎架構，為利用云計算處理海量數據提供了有效的支撐。
　　本文以作者所在公司的實習項目為基礎，目標是對海量Web日志進行分析，重點是研究Hadoop框架與傳統(tǒng)數據挖掘的結合，最終完成一個基于Hadoop的Web日志分析系統(tǒng)，從而可以從用戶上網數據中挖掘出有意義的信息。本文主要工作包括:
　　(1)研究了Web日志數據挖掘的相

3、關背景和意義，以及如何將Hadoop應用到傳統(tǒng)數據挖掘中的方法。
　　(2)研究了Web日志挖掘的預處理過程。
　　(3)利用MapReduce實現統(tǒng)計模型?；贛apReduce技術，研究并實現三種并行式Apriori挖掘算法。經過對比分析，結合Hadoop框架，提出并實現了一種改進的Apriori算法，并在實際數據集上運行以驗證設計的有效性，實驗分析表明所設計算法有較高的效率，在實際應用中有較好的可行性。
　　(4