遠程富媒體的呈現(xiàn).pdf

1、在最近的幾十年中，計算模型已經從集中式大型機計算模型轉變?yōu)榉植际降淖烂嬗嬎隳Ｐ?。但是，隨著個人計算機廣泛使用并且保有量越來越大時，用于維護這些計算機的開銷變得越來越難以控制。由于存在這樣的問題并且變得越來越難解決時，人們又開始趨向于集中和更易于管理的計算模型。遠程訪問計算模型就是這種趨勢的一個具體表現(xiàn)。
　　 雖然遠程訪問計算模型類似于大型機時代的集中計算模型，但是如今的用戶已經不滿足于只使用ASCⅡ文本來表示輸入與輸出。遠程訪

2、問系統(tǒng)必須有效地支持富媒體環(huán)境來滿足客戶的需求。達到這樣的目的的關鍵技術就是遠程富媒體呈現(xiàn)技術使得圖形顯示能夠通過網(wǎng)絡實時地傳輸并呈現(xiàn)在客戶端并且支持與用戶的可交互功能。
　　 隨著處理器計算速度和圖形芯片處理速度的快速發(fā)展，從早期簡單的文本處理軟件到如今絢麗的3D游戲畫面和豐富的多媒體應用，富媒體內容越來越復雜，富媒體應用與人的交互也越來越豐富。豐富的富媒體內容與應用使得其在計算資源受限或網(wǎng)絡帶寬受限條件下的實時低延時編碼、傳

3、輸與交互帶來了極大的挑戰(zhàn)。而且在目前互聯(lián)網(wǎng)上的異構網(wǎng)絡環(huán)境下，遠程富媒體呈現(xiàn)也面臨著不同網(wǎng)絡所引起的傳輸帶寬差異、傳輸延時差異和帶寬的波動等所帶來的問題。并且，客戶端設備也在計算能力、接入帶寬和顯示分辨率方面存在廣泛的異構性。設備的異構性也給富媒體呈現(xiàn)服務的廣泛普及帶來了挑戰(zhàn)。
　　 本文從富媒體的特點出發(fā)，針對遠程富媒體呈現(xiàn)系統(tǒng)的性能要求，創(chuàng)新性地提出了一個高性能的遠程富媒體呈現(xiàn)系統(tǒng)，并且提出了若干技術來進一步提高遠程富媒體的

4、呈現(xiàn)性能、減少帶寬資源/計算資源損耗、提高系統(tǒng)對異構網(wǎng)絡和設備的自適應性和提高用戶的交互體驗。本文具體的研究內容主要包括：
　　 首先，我們提出了一個完整的端到端的可交互的富媒體呈現(xiàn)系統(tǒng)。該系統(tǒng)能夠支持高性能的遠程屏幕呈現(xiàn)以及桌面的遠程使用，即使是在具有極大顯示量的多媒體應用中。在該系統(tǒng)中，我們?yōu)檫h程顯示提出了一個對壓縮友好(Compression friendly)的系統(tǒng)結構。在這個系統(tǒng)結構下，我們提出了一個有效的屏幕圖像編碼

5、方案。該編碼方案自動地根據(jù)圖像塊的內容使用合適的編碼方法來壓縮該塊。同時，我們針對不同的終端設備提出了一個自適應的傳輸機制來減小網(wǎng)絡帶寬的消耗量而又不犧牲用戶體驗；針對不同的網(wǎng)絡環(huán)境，我們提出動態(tài)地調整發(fā)送緩沖區(qū)的方法來取得網(wǎng)絡吞吐量與數(shù)據(jù)延時之間的平衡。我們還提出了一些交互機制和網(wǎng)絡傳輸機制來提高系統(tǒng)的可交互體驗。
　　 第二，針對多客戶端連接的屏幕共享系統(tǒng)，我們提出了一個有效的屏幕圖像編碼方法。對多客戶端連接時所需要的多碼率

6、碼流編碼時，我們提出了一個一次化編碼算法(one-pass encoding)。一次化編碼算法使得遠程主機端編碼生成多個碼率時只需要一次編碼過程，使得主機端的編碼復雜度極大的降低。特別是當遠程的計算資源受限時，一次化編碼算法能夠較大地提高屏幕共享系統(tǒng)的性能?；谖覀兲岢龅钠聊粓D像編解碼方案，我們還為基于以數(shù)據(jù)中心為基礎的大規(guī)模桌面網(wǎng)絡會議提出了一個快速的屏幕圖像轉碼方案。
　　 第三，我們提出了使用GPU來加速屏幕圖像編碼的算法

7、，以加快遠程主機端的編碼速度。在這個算法中，我們將屏幕圖像編碼端除熵編碼以外的所有計算模塊都轉移至GPU中以有效的利用GPU強大的并行計算能力。實驗結果表明，GPU加速能夠大幅度地提高遠程主機端的編碼速度。
　　 第四，針對富媒體中的視頻媒體類型，根據(jù)視頻內容的特點，我們使用視頻轉碼來達到對視頻內容的有效傳輸并且減少網(wǎng)絡帶寬的消耗。我們提出了一個基于功率譜密度的率失真優(yōu)化(Rate-distortion optimization

8、，RDO)模型來加速視頻轉碼的過程。在這個模型中，運動補償?shù)念A測誤差不是由塊內的SAD或者SSD之和計算出來而是由輸入輸出運動矢量之差和預測信號的功率譜密度計算猜測出來。該方法不僅能夠應用于時域的視頻轉碼，包括對碼率、分辨率、幀率的轉碼，而且還適用于在頻域上的視頻轉碼。本文中，我們以H.264/AVC編碼標準為例，將所提出的率失真模型用在對P幀的時域轉碼和對B幀的頻域轉碼。由于該模型省掉了運動估計中計算量最大的SAD/SSD計算，該率失

9、真優(yōu)化模型能夠大幅度地加速視頻轉碼的過程。
　　 第五，基于我們所提的遠程富媒體呈現(xiàn)技術，我們構建了一個高性能的基于Proxy的手機網(wǎng)頁瀏覽器。該手機網(wǎng)頁瀏覽器可以提供給用戶在無線和移動網(wǎng)絡下高質量的網(wǎng)頁顯示和豐富的交互體驗。我們的瀏覽器系統(tǒng)提供了一個完整的端到端的方案，該方案把網(wǎng)頁格式轉換成位圖和網(wǎng)頁對象的組合來解決原始網(wǎng)頁對手機設備的不兼容性。為了提高用戶的交互體驗，我們?yōu)椴煌愋偷木W(wǎng)頁對象設計了不同的交互機制。對象級的交互