數(shù)據(jù)數(shù)量與質(zhì)量敏感的推薦系統(tǒng)若干問(wèn)題研究.pdf

1、隨著互聯(lián)網(wǎng)特別是移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)的持續(xù)爆炸式增長(zhǎng)，信息過(guò)載現(xiàn)象越來(lái)越嚴(yán)重，使得用戶從海量數(shù)據(jù)中找到真正感興趣的信息的代價(jià)越來(lái)越高。為了解決這一問(wèn)題，個(gè)性化推薦系統(tǒng)應(yīng)運(yùn)而生。推薦系統(tǒng)通過(guò)挖掘用戶的歷史行為數(shù)據(jù)對(duì)其興趣和偏好進(jìn)行建模，從而可以幫助用戶快速地發(fā)現(xiàn)其可能感興趣的、有價(jià)值的信息。在過(guò)去的二十多年里，推薦系統(tǒng)得到了學(xué)術(shù)界和工業(yè)界的極大關(guān)注，已經(jīng)被廣泛應(yīng)用于包括電子商務(wù)、社交網(wǎng)站、影視娛樂(lè)、在線閱讀、網(wǎng)絡(luò)課程學(xué)習(xí)等在內(nèi)的不同應(yīng)用領(lǐng)域，相

2、關(guān)的推薦技術(shù)也在不斷地發(fā)展和演進(jìn)。時(shí)至今日，許多研究學(xué)者仍然致力于設(shè)計(jì)更高效、更有效、更普適的推薦算法。
　　現(xiàn)有的推薦算法通常將收集到的所有用戶行為數(shù)據(jù)不加處理或簡(jiǎn)單地進(jìn)行預(yù)處理后就作為算法的輸入進(jìn)行統(tǒng)一的推薦建模。然而，在真實(shí)應(yīng)用的推薦系統(tǒng)中，不同用戶的行為數(shù)據(jù)在數(shù)量和質(zhì)量方面都會(huì)呈現(xiàn)出不同程度的差異性。系統(tǒng)中往往同時(shí)存在行為數(shù)據(jù)稀少的“冷啟動(dòng)”用戶和行為數(shù)據(jù)豐富的活躍用戶，與此同時(shí)，不同用戶的行為數(shù)據(jù)中也會(huì)存在不同程度的噪聲

3、數(shù)據(jù)。對(duì)這些數(shù)量和質(zhì)量存在顯著差異的用戶進(jìn)行統(tǒng)一的推薦建模，一方面會(huì)因?yàn)闊o(wú)法同時(shí)涵蓋不同特點(diǎn)的數(shù)據(jù)而降低推薦算法的準(zhǔn)確性，另一方面，隨著系統(tǒng)中用戶行為數(shù)據(jù)的不斷累積，將收集到的所有數(shù)據(jù)用來(lái)建模也會(huì)帶來(lái)很高的計(jì)算代價(jià)。因此，敏感地捕捉并建模用戶行為數(shù)據(jù)數(shù)量和質(zhì)量差異性的數(shù)據(jù)數(shù)量和質(zhì)量敏感的推薦方法的研究，對(duì)大數(shù)據(jù)環(huán)境下的推薦系統(tǒng)具有非常重要的理論與應(yīng)用價(jià)值。本文圍繞數(shù)據(jù)數(shù)量與質(zhì)量敏感的推薦系統(tǒng)的若干問(wèn)題展開研究，主要工作包括:
　　

4、1)提出了一種數(shù)據(jù)數(shù)量敏感的推薦方法。針對(duì)不同用戶在行為數(shù)據(jù)數(shù)量方面存在的差異，研究用戶行為數(shù)據(jù)的數(shù)量對(duì)不同推薦算法的影響，表明將用戶（尤其是活躍用戶）的所有行為數(shù)據(jù)用于推薦建模是沒(méi)有必要的。然后，從機(jī)器學(xué)習(xí)的角度出發(fā)剖析了需要多少用戶行為數(shù)據(jù)進(jìn)行建模就足以產(chǎn)生有效的推薦。最后，提出一系列用戶行為數(shù)據(jù)的抽樣方法來(lái)選擇適量的、有代表性的用戶行為數(shù)據(jù)進(jìn)行數(shù)據(jù)數(shù)量敏感的推薦建模。實(shí)驗(yàn)結(jié)果表明，該方法在總體上提升了推薦的準(zhǔn)確性并降低了計(jì)算代價(jià)。

5、
　　2)提出了一種基于用戶行為一致性的分組遷移推薦方法。針對(duì)不同用戶的行為數(shù)據(jù)存在不同程度的噪聲數(shù)據(jù)的現(xiàn)象，引入“用戶行為一致性”的概念來(lái)衡量用戶行為數(shù)據(jù)中含有噪聲數(shù)據(jù)的程度，進(jìn)而提出了一種基于用戶行為一致性的分組遷移推薦方法。在該方法中，首先，基于用戶行為一致性將用戶進(jìn)行分組。然后，對(duì)不同分組的用戶行為數(shù)據(jù)所構(gòu)成的數(shù)據(jù)子集進(jìn)行有針對(duì)性的噪聲處理和推薦建模。最后，借助遷移學(xué)習(xí)技術(shù)實(shí)現(xiàn)高質(zhì)量數(shù)據(jù)子集對(duì)低質(zhì)量數(shù)據(jù)子集的輔助建模。實(shí)驗(yàn)

6、結(jié)果表明，該方法對(duì)低質(zhì)量數(shù)據(jù)分組的推薦性能有顯著的提升，進(jìn)而提升了整體的推薦性能。
　　3)提出了一種基于語(yǔ)義可比物品對(duì)的排序推薦方法。BPR(Bayesian Personalized Ranking)是解決單類協(xié)同過(guò)濾問(wèn)題的主流算法框架，在隱式反饋推薦中得到了廣泛的應(yīng)用。然而，BPR會(huì)選擇沒(méi)有意義的噪聲物品對(duì)數(shù)據(jù)進(jìn)行建模而降低了模型的準(zhǔn)確性和收斂速度。針對(duì)這些問(wèn)題，本文提出了“語(yǔ)義可比物品對(duì)”的概念，并因此提出了一種基于語(yǔ)義可

7、比物品對(duì)的排序推薦算法(SeBPR)。該方法通過(guò)物品內(nèi)容信息學(xué)習(xí)物品的語(yǔ)義向量，進(jìn)而選擇語(yǔ)義可比較的、高質(zhì)量的物品對(duì)參與模型訓(xùn)練。實(shí)驗(yàn)表明，SeBPR可以利用相對(duì)較少的物品對(duì)得到快速收斂的、穩(wěn)定的模型。
　　4)提出了一種數(shù)據(jù)數(shù)量和質(zhì)量敏感的推薦框架。在上述研究工作的基礎(chǔ)上，本文進(jìn)一步提出了一種數(shù)據(jù)數(shù)量和質(zhì)量敏感的推薦框架，以解決現(xiàn)有推薦算法沒(méi)有充分考慮用戶行為數(shù)據(jù)在數(shù)量和質(zhì)量方面差異性的問(wèn)題。該框架包括對(duì)用戶行為數(shù)據(jù)的數(shù)量和質(zhì)量