基于Hadoop的推薦系統(tǒng)研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的日益發(fā)展，手機(jī)、平板電腦等智能終端的出現(xiàn)，人們?cè)诠ぷ骱蜕钪性絹?lái)越依賴(lài)網(wǎng)絡(luò)，同時(shí)也產(chǎn)生大量的數(shù)據(jù)文件，對(duì)于如此海量的數(shù)據(jù)，加之用戶(hù)有時(shí)不能清晰的表達(dá)查詢(xún)意圖，使得用戶(hù)很難快速、準(zhǔn)確的找出所需要的信息，為此學(xué)者們進(jìn)行了許多相關(guān)的研究，其中有效的技術(shù)方案主要包括搜索引擎中的查詢(xún)推薦算法和基于偏好的推薦系統(tǒng)。查詢(xún)推薦算法通過(guò)構(gòu)造一組與原查詢(xún)?cè)~相關(guān)的查詢(xún)?cè)~幫助用戶(hù)明確查詢(xún)意圖。推薦系統(tǒng)以用戶(hù)行為、偏好作為依據(jù)，主動(dòng)為用戶(hù)推薦符合其偏

2、好的信息。
　　由于用戶(hù)數(shù)量、數(shù)據(jù)規(guī)模的快速增長(zhǎng)，而傳統(tǒng)推薦算法以單機(jī)運(yùn)行為主，計(jì)算復(fù)雜度普遍較高，計(jì)算難度大，已經(jīng)不能滿(mǎn)足海量數(shù)據(jù)推薦計(jì)算的需求，產(chǎn)生了推薦時(shí)間緩慢、準(zhǔn)確率下降等一系列問(wèn)題。為了更好的解決推薦算法的可擴(kuò)展性、準(zhǔn)確性問(wèn)題，本文在深入研究HDFS分布式系統(tǒng)和MapReduce編程思想的基礎(chǔ)上，針對(duì)近年來(lái)提出的網(wǎng)絡(luò)推薦算法，分別提出了查詢(xún)推薦算法和基于偏好的協(xié)同過(guò)濾推薦算法在 MapReduce編程模型下的分布式并行化

3、算法，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于Hadoop的電影推薦原型系統(tǒng)。主要工作內(nèi)容如下：
　　首先，介紹了推薦算法和云計(jì)算方面國(guó)內(nèi)外的研究現(xiàn)狀，然后重點(diǎn)闡述了推薦系統(tǒng)及主流協(xié)同過(guò)濾算法，具體分析了Hadoop相關(guān)技術(shù)，為基于Hadoop的并行化算法提供了理論依據(jù)。
　　然后，針對(duì)搜索引擎中的查詢(xún)推薦算法，提出了基于Hadoop的最小生成樹(shù)聚類(lèi)算法來(lái)實(shí)現(xiàn)查詢(xún)推薦，通過(guò)一系列測(cè)試和結(jié)果分析驗(yàn)證了算法在集群上具有良好的并行性和擴(kuò)展性。在基于