1、互聯(lián)網的多媒體資源廣泛呈現(xiàn)出跨媒體(Cross-media)特性，即不同類型的數據及其豐富的社會屬性之間存在著各式各樣的復雜關系。跨媒體數據的增長給傳統(tǒng)的多媒體檢索與分析的研究帶來了新的挑戰(zhàn):一方面，巨大用戶量和便捷訪問方式帶來的海量數據迫使我們提高傳統(tǒng)的多媒體存儲與計算效率;另一方面，不同模態(tài)的多媒體數據（如文本、音頻、視頻、圖像等）與用戶的行為之間相互作用形成了復雜關聯(lián)關系，合理地利用這些關聯(lián)關系可以更好地對多媒體內容進行理解。針對

2、上述的兩方面的挑戰(zhàn)，本文提出了一系列面向高維跨媒體數據的哈希算法，大大提高了海量數據的存儲與檢索效率。與此同時，本文針對不同模態(tài)跨媒體數據間的關聯(lián)關系提出了基于超圖和稀疏表達的建模與挖掘算法，將跨媒體的數據關聯(lián)與多媒體的內容分析相結合，提高了多媒體檢索和內容理解的精度。
　　本文的主要工作可以總結為如下幾個方面:
　　考慮到社會媒體站點中的異構數據的高階復雜的關聯(lián)，本文引入超圖（hypergraph）對關聯(lián)數據進行建模，最大

3、程度地保留和利用了跨媒體信息。在此基礎上，本文提出了基于超圖的譜哈希算法(HypergraphSpectralHashing)。該算法將超圖中的節(jié)點映射為緊湊的二進制編碼，大大提高了數據的存儲和檢索效率?；谠撍惴▽崿F(xiàn)的多媒體檢索應用，不但有著比傳統(tǒng)檢索方法更高的效率，也更好地利用了數據之間的關聯(lián)關系，實現(xiàn)了數據的跨模態(tài)查詢。
　　在哈希索引方面，為更好地利用數據的局部相似結構，本文進一步提出了樣條回歸哈希算法(SplineReg

4、ressionHashing)。在學習哈稀編碼時，該算法強調保持數據的局部相似性，并用樣條函數（splinefunction）對數據的局部結構進行建模。為了防止過擬合（over-fitting），該算法也同時考慮了數據的全局結構，并在一個統(tǒng)一的目標函數中同時對訓練數據的哈希編碼與面向測試數據的哈希函數進行聯(lián)合求解，從而大大提高了哈希算法在近鄰搜索(Nearest-NeighborSearch)中的精度。
　　當哈希編碼的長度足夠時

5、，并非所有的哈希位對某一特定數據點都具有相同的貢獻。因此，本文提出了核化稀疏哈希(KernelizedSparseHashing)算法，該算法針對不同的數據只激活與之相關的少數哈希位。與此同時，核函數也被引入到該方法中以適應不同的數據分布和相似度度量。
　　在跨媒體數據關聯(lián)挖掘方面，為更好地對圖像和其標簽之間的關聯(lián)關系進行建模，本文提出了語義單元圖（SemanticUnityGraph）模型。該模型將每一對圖像與標簽的二元組看作一

6、個語義單元（SemanticUnity），并且用不同的超邊(hyperedge)連接存在關聯(lián)的語義單元以最終形成語義單元圖。本文將語義單元圖應用到了圖像與標簽的聯(lián)合聚類(co-clustering)和標簽細化(TagRefinement)的應用中，達到了更好的聚類與細化效果。
　　在跨媒體數據中，存在著許多用戶的行為數據，如不同多媒體數據的來源或者上傳者信息。為更好地借助上述用戶信息提高對多媒體數據分類與內容理解的精度，本文提出了