CPU-GPU平臺下分布式集合求交算法的研究.pdf

1、互聯(lián)網(wǎng)迅速膨脹所帶來信息大爆炸使得現(xiàn)代搜索引擎正面臨前所未有的性能挑戰(zhàn)，每天約有數(shù)百億條用戶查詢請求需要處理。作為搜索引擎處理用戶查詢的核心功能——倒排索引交集求取，一直是研究和關(guān)注的中心。隨著計算機性能的不斷發(fā)展，CPU從單核朝著多核方向發(fā)展。與此同時，受游戲市場的刺激，有著眾核之稱的圖像處理單元(GPU)也飛速發(fā)展，逐漸成為高性能計算的研究熱點。
　　 本文關(guān)注將這種新型多核CPU/GPU混合系統(tǒng)應(yīng)用到倒排索引求交問題中。在

2、對集合求交算法和CPU/GPU混合結(jié)構(gòu)進行研究的基礎(chǔ)上，本文給出了多核CPU/GPU平臺下集合求交算法，并在由Sogou實驗室提供的數(shù)據(jù)上進行實驗驗證，系統(tǒng)性能提升良好。本文工作可概括為以下幾方面：
　　 首先，分析當前應(yīng)用于CPU端集合求交算法和試驗數(shù)據(jù)一般特性，然后綜合幾種快速的搜索和求交算法作為本文CPU端集合求交算法。試驗結(jié)果顯示集合求交速度有一定提升。
　　 其次，根據(jù)CUDA計算模型，在CPU端對數(shù)據(jù)搜索區(qū)間

3、進行劃分，然后由CPU將劃分結(jié)果傳遞給GPU進行運算。CUDA中每個塊的平均搜索范圍急劇減少，從而在整體上大幅提升GPU端集合求交性能。
　　 第三，分析CPU和GPU共同計算倒排索引交集時的性能瓶頸。搜索引擎中倒排索引求交為數(shù)據(jù)密集型計算，經(jīng)驗證數(shù)據(jù)傳輸占用大量時間，因此文中采用流水線作業(yè)方法將傳輸延時和CPU端計算時間隱藏于交集計算過程中。
　　 最后，考慮到每個GPU只需一個CPU內(nèi)核與之進行通信，CPU中其余內(nèi)核