協(xié)同過濾推薦算法稀疏性與可擴(kuò)展性問題研究.pdf

1、隨著社會從 IT時代邁向 DT時代，人們每天面對的信息呈爆炸般增長，信息過載已經(jīng)成為困擾行業(yè)發(fā)展的一大阻礙。特別是在電子商務(wù)領(lǐng)域，面對琳瑯滿目的商品，用戶卻不得不花費更多的時間來尋找自己中意的商品。推薦系統(tǒng)的發(fā)展有效彌補了這種缺陷，其中協(xié)同過濾推薦算法的研究更是取得了巨大成功。但是隨著商品越來越多，用戶-項目評分矩陣越變越稀疏，傳統(tǒng)的協(xié)同過濾推薦算法推薦精度受到比較大的影響。另外，受單機性能的制約，面對海量數(shù)據(jù)傳統(tǒng)協(xié)同過濾推薦算法的計算

2、效率以及可擴(kuò)展性也面臨著嚴(yán)峻挑戰(zhàn)。
　　本文詳細(xì)研究了協(xié)同過濾推薦算法的數(shù)據(jù)稀疏性問題以及隨著數(shù)據(jù)量增長可擴(kuò)展性較差的問題，并針對這兩個問題從改進(jìn)相似度計算方法改善數(shù)據(jù)稀疏性和采用分布式編程算法提高算法可擴(kuò)展性兩個角度改善推薦質(zhì)量。
　　第一，用戶評價數(shù)過少導(dǎo)致用戶-項目評分矩陣極度稀疏，降低了協(xié)同過濾推薦算法的推薦精度。本章從項目的評分向量整體分布情況出發(fā)，提出了輔助因子相似度的概念，并將輔助因子相似度與基于項目的傳統(tǒng)的相

3、似度方法進(jìn)行融合，提出了融合輔助因子的協(xié)同過濾推薦算法。在項目共同評分?jǐn)?shù)據(jù)很少的情況下，改善了推薦精度不足的問題。實驗證明，本章算法可以有效的緩解數(shù)據(jù)稀疏性，提高推薦精度。
　　第二，針對傳統(tǒng)單機的協(xié)同過濾推薦算法隨著數(shù)據(jù)集增長可擴(kuò)展性較差的問題，本章實現(xiàn)了基于Hadoop分布式平臺的協(xié)同過濾推薦算法。計算用戶偏好向量和共現(xiàn)矩陣的乘積來得到推薦向量，通過動態(tài)增添集群節(jié)點改善算法的可擴(kuò)展性。計算矩陣乘時放棄傳統(tǒng)的矩陣乘法，采用一種改