實(shí)時(shí)三維內(nèi)容生成算法研究與實(shí)現(xiàn).pdf

1、三維顯示技術(shù)能夠給用戶帶來真實(shí)的視覺感受，是當(dāng)今顯示領(lǐng)域的研究熱點(diǎn)。近幾年來，各大廠商推出了品種繁多的三維顯示設(shè)備，從顯示技術(shù)的層面上可以分為戴眼鏡式和裸眼式兩種。對于相同的顯示設(shè)備而言，三維內(nèi)容的質(zhì)量決定了用戶能否獲得強(qiáng)烈的立體視覺感受。由于三維顯示技術(shù)是一種全新的電視技術(shù)，傳統(tǒng)的2D片源都無法在三維顯示設(shè)備上進(jìn)行觀看，并且不同類型的顯示設(shè)備對三維內(nèi)容的要求也不盡相同。比如戴眼鏡式的立體電視支持兩路拼接的雙目立體片源，而裸眼式的自由立

2、體顯示器則可以支持多視點(diǎn)的立體內(nèi)容。而隨著各類三維顯示設(shè)備的普及化，用戶希望能夠看到更加豐富的三維內(nèi)容。而受到錄制設(shè)備成本和三維制作技術(shù)的限制，三維內(nèi)容的匱乏是當(dāng)前面臨的最大難題之一。
　　通過視點(diǎn)繪制算法從已有的媒體片源生成所需的三維內(nèi)容可以有效地緩解三維內(nèi)容匱乏的現(xiàn)狀。本文在實(shí)驗(yàn)室現(xiàn)有的立體顯示系統(tǒng)平臺(tái)上，重點(diǎn)研究實(shí)時(shí)的三維內(nèi)容生成算法，從技術(shù)路線上可以分為基于稠密深度圖的三維內(nèi)容生成算法，以及基于圖像形交的雙目立體轉(zhuǎn)多視點(diǎn)算

3、法，取得的創(chuàng)新性成果包括:
　　1、為滿足2D轉(zhuǎn)3D內(nèi)容生成的實(shí)時(shí)需求，本文提出了一種基于稠密深度圖的實(shí)時(shí)2D轉(zhuǎn)3D算法。該算法利用深度模型、冷暖色信息和圖像關(guān)注度信息對參考視點(diǎn)的稠密深度圖進(jìn)行恢復(fù)，并通過后向基于深度圖像的虛擬視點(diǎn)繪制(DIBR)技術(shù)繪制出無空洞的虛擬視點(diǎn)圖像，最后將虛擬視點(diǎn)圖像與參考視點(diǎn)圖像拼接得到可用于戴眼鏡式立體顯示器觀看的雙目立體圖像。該算法適用于大多數(shù)的自然場景，能夠得到時(shí)域穩(wěn)定且質(zhì)量較好的稠密深度圖，

4、呈現(xiàn)較好的立體效果。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該算法在圖形處理器(GPU)實(shí)現(xiàn)下能夠以32.8fps的速率對全高清分辨率的視頻進(jìn)行實(shí)時(shí)轉(zhuǎn)換。同時(shí)，本文基于現(xiàn)場可編程門陣列(FPGA)平臺(tái)對該算法進(jìn)行了硬件實(shí)現(xiàn)，經(jīng)過實(shí)驗(yàn)驗(yàn)證能夠以30fps的速率對全高清分辨率的視頻進(jìn)行實(shí)時(shí)轉(zhuǎn)換。
　　2、為滿足雙目立體轉(zhuǎn)多視點(diǎn)內(nèi)容生成的實(shí)時(shí)需求，本文提出了一種基于稠密深度圖的實(shí)時(shí)雙目立體轉(zhuǎn)多視點(diǎn)算法。該算法利用可變支持窗口的思想，在動(dòng)態(tài)規(guī)劃算法的框架上對輸入的

5、雙目立體圖像進(jìn)行立體匹配以獲取稠密深度圖。在虛擬視點(diǎn)繪制部分，該算法采用Shift-Sensor相機(jī)模型設(shè)計(jì)虛擬相機(jī)參數(shù)，通過DIBR技術(shù)繪制出帶空洞的虛擬視點(diǎn)圖像。對于介于輸入?yún)⒖家朁c(diǎn)之間的虛擬視點(diǎn)圖像，該算法利用左右參考視點(diǎn)中遮擋信息的互補(bǔ)性對虛擬視點(diǎn)圖像進(jìn)行融合以修復(fù)大范圍的空洞，再通過簡單的插值算法填補(bǔ)剩余的細(xì)小空洞。在參考視點(diǎn)相機(jī)參數(shù)已知的情況下，該算法對于色彩鮮艷、紋理豐富的自然場景可以得到較高質(zhì)量的稠密深度圖，并能夠在輸入

6、的參考視點(diǎn)之間繪制出較高質(zhì)量的虛擬視點(diǎn)圖像。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該算法在GPU實(shí)現(xiàn)下能夠以20.9fps的速率渲染8路分辨率為640×360的虛擬視點(diǎn)視頻。同時(shí)，本文基于FPGA平臺(tái)對該算法的虛擬視點(diǎn)繪制部分進(jìn)行了硬件實(shí)現(xiàn)，經(jīng)過實(shí)驗(yàn)驗(yàn)證能夠以30fps的速率輸出全高清分辨率的裸眼3D視頻。
　　3、本文在基于圖像形變的虛擬視點(diǎn)繪制算法框架下，提出了一種基于圖像形變的實(shí)時(shí)雙目立體轉(zhuǎn)多視點(diǎn)算法。在算法流程上，本文通過兩方面的改進(jìn)來提升算法的