用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法

1、用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法作者：楊鈾，戴瓊海單位：清華大學(xué)自動化系技術(shù)摘要摘要附圖圖1圖2圖3權(quán)利要求書1、用于裸眼立體顯示的視頻立體轉(zhuǎn)換方法，其特征在于，所述方法包括：A1：對所輸入的視頻類型進(jìn)行分類，所述類別包括單視點平面視頻、雙目立體視頻，并根據(jù)所分類型分別輸入至對應(yīng)的A2或A3；A2：輸入視頻類別為單視點平面視頻，設(shè)裸眼立體顯示設(shè)備所需視點數(shù)為N（N>2），對單視點平面視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點數(shù)的N視點立體轉(zhuǎn)換；A3：輸入視頻類別為雙目立體視頻，對雙目立體視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點數(shù)的N視點立體轉(zhuǎn)換；A4：對于A2或A3所轉(zhuǎn)換得到的多視點立體

2、視頻，進(jìn)行適用于裸眼立體顯示設(shè)備所需的像素排列。2、如權(quán)利要求1所述的方法，其特征在于，所述步驟A1中對輸入的視頻進(jìn)行類型判斷，具體方法包括：如果所輸入視頻的視點數(shù)為1，則為單視點平面視頻；如果所輸入視頻的視點數(shù)為2，則為雙目立體視頻。3、如權(quán)利要求1所述的方法，其特征在于，所述步驟A2中對輸入的單視點平面視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點數(shù)的N視點立體轉(zhuǎn)換，具體方法包括：B1：對單視點平面視頻計算場景深度；B2：利用視頻幀序列在時域上的相關(guān)性，將B1所計算得到的場景深度進(jìn)行時域傳播；B3：利用基于深度的圖像繪制方法，對視頻的每一幀進(jìn)行其余N-1視點的圖像繪制，與該視點一起總共為N個視點。

3、4、如權(quán)利要求1所述的方法，其特征在于，所述步驟A3中對輸入的雙目立體視頻進(jìn)行適用于裸眼立體顯示設(shè)備所需視點數(shù)的N視點立體轉(zhuǎn)換，具體方法包括：C1：計算雙目立體視頻間的視差，并利用視差與深度間的轉(zhuǎn)換關(guān)系，得到視頻的場景深度也可不求深度，直接利用視差計算，這一塊可分兩部分寫；C2：利用視頻幀序列在時域上的相關(guān)性，將C1所計算得到的場景深度進(jìn)行時域傳播；C3：利用基于深度的圖像繪制方法，對視頻的每一幀進(jìn)行其余N-2視點的圖像繪制，與雙目視點一起總共為N個視點。5、如權(quán)利要求1所述的方法，其特征在于，所述步驟A4中對A2或A3所得的N視點視頻幀其像素按照裸眼立體顯示設(shè)備所需的像素排列進(jìn)行重排列。說明

4、書技術(shù)領(lǐng)域本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種用于裸眼立體顯示的平面視頻立體轉(zhuǎn)換方法。技術(shù)背景隨著3D立體顯示技術(shù)的不斷發(fā)展，立體電影、電視、移動設(shè)備等立體產(chǎn)品迅速普及，大眾對立體視頻的需求程度越來越高。此時，除了提供新的立體拍攝片源以外，還有大量平面視頻資料需要通過立體化的方法才能實現(xiàn)立體觀賞。立體視頻目前大多是通過雙目的方式進(jìn)行顯示，觀看過程中需要通過主動快門式、偏振式、紅藍(lán)式眼鏡等將雙目圖像分別發(fā)送至人的左右兩眼，從而形成立體視覺感知。這種方式需要用戶佩戴眼鏡，觀看不便。裸眼立體顯示設(shè)備能夠讓用戶無需佩戴輔助設(shè)備即觀看到視頻所具有的立體效果，是未來家庭娛樂、廣告宣傳、公共展示等場合

5、中用于進(jìn)行立體觀看觀賞較為理想的方式。如何向該設(shè)備提供立體片源內(nèi)容，成為一個需要解決的問題。在裸眼立體顯示設(shè)備進(jìn)行立體內(nèi)容的顯示，需要根據(jù)該顯示設(shè)備所提供的觀看視點數(shù)量N，向該設(shè)備同時輸入等量視點N的視頻信號源。比較直觀的做法是，開發(fā)具有N個視點的視頻采集設(shè)備進(jìn)行同步采集，為裸眼立體顯示設(shè)備提供節(jié)目源。但是這樣的方式下，節(jié)目制作的成本高、周期長、技術(shù)難度大，同時對采集設(shè)備及輔助控制設(shè)備的要求較高，而且不利于將已有的大量單視點平面節(jié)目源、雙目立體節(jié)目源無法在裸眼立體顯示設(shè)備上得以展示。本專利針對單視點平面節(jié)目源、雙目立體節(jié)目源在裸眼立體顯示設(shè)備上的播放而涉及的節(jié)目源裸眼N視點立體轉(zhuǎn)換方法。針對。

6、的方法？本發(fā)明中所涉及的已有算法單目鏡頭檢測（3篇）顏色直方圖方法1篇聚類方法變換域方法（DCT、小波變換）1篇鏡頭漸變檢測方法（雙閾值法、模糊聚類、B樣條擬合方法）1篇圖像特征提?。ň垲?、色彩量化等方法、運動信息）直接灰度化聚類最小生成樹01篇色彩量化運動信息提取01篇分水嶺深度圖求?。ㄉ疃荣x值方法、深度傳播方法）基于立體線索的直接計算（遮擋、透視、紋理、聚焦等）1篇基于運動的深度賦值輪廓匹配進(jìn)行深度圖求取的方法1篇關(guān)鍵幀的空域深度擴(kuò)散方法1篇非關(guān)鍵幀的深度傳播方法（運動信息、各種跟蹤算法）2篇深度圖后處理（濾波、時域平滑、邊緣增強(qiáng)等）非對稱濾波、雙邊濾波時域平滑1篇邊緣增強(qiáng)1篇立體圖像繪制

7、方法像素偏移（方法選擇，均勻or匯聚）空洞填充方法（最近鄰、鄰域插值、鄰域濾波、Inpainting）12篇參考渲染方法（每次參考相鄰視點進(jìn)行渲染）1篇雙目雙目圖像鏡頭檢測（已校準(zhǔn)）同上雙目圖像視差/深度估計局部匹配方法（區(qū)域匹配、特征匹配等）至少2篇全局方法（動態(tài)規(guī)劃、圖割、BP）3篇有文獻(xiàn)非關(guān)鍵幀深度傳播（同上，可考慮利用雙目視頻得到更精細(xì)的深度圖）視差圖/深度圖后處理各種濾波（雙邊濾波）時、空域聯(lián)合優(yōu)化（plane fitting）1篇（1） 雙目立體圖像繪制像素偏移錯誤去除1篇空洞填充（最近鄰、鄰域插值、鄰域濾波、Inpainting）雙目原視點參考渲染方法1篇近鄰視點參考渲染方法（一

8、側(cè)渲染）1篇硬件（還可細(xì)分）轉(zhuǎn)換芯片12篇含一篇框架立體視頻芯片（信號轉(zhuǎn)換，頻率轉(zhuǎn)換）12篇板卡電路（芯片、FPGA）12篇多視點數(shù)量切換方法及裝置（1輸入m路輸出n路，m可以大于、等于、小于n）1篇多視點間自由切換（類似于自由視點）1篇立體視頻信號視點數(shù)目識別方式與裝置（匹配）1篇立體視頻芯片配置參數(shù)在線調(diào)整設(shè)備（外接到板卡上，與芯片通信或遙控器）1篇（1）鏡頭檢測算法中的雙閾值法雙閾值法是一種比較經(jīng)典的鏡頭檢測算法。用該方法進(jìn)行鏡頭邊界檢測的主要依據(jù)是鏡頭內(nèi)部的相鄰幀之間具有較大的相似性，當(dāng)出現(xiàn)鏡頭突變和鏡頭漸變時，該相似性會遭到不同程度的破壞。該方法的主要思想是設(shè)置一高一低兩個閾值 和，

9、當(dāng)幀差大于時存在鏡頭突變；當(dāng)幀差小于而大于時可能存在鏡頭漸變，此時將后一幀作為鏡頭漸變的潛在起始幀，并從該幀開始同時計算兩種幀差：相鄰兩幀的幀差以及和潛在起始幀相隔幀的累積幀差。若累積幀差大于而相鄰幀的幀差小于時，當(dāng)前幀便為鏡頭漸變的結(jié)束幀。若相鄰幀的幀差小于而累積幀差仍不超過時，則廢除潛在起始幀，重新尋找新的起始幀。（2）K均值算法聚類算法是不是好一些？K均值法是一種應(yīng)用非常廣泛的動態(tài)聚類方法，其目標(biāo)是將個數(shù)據(jù)對象劃分為個聚類，使最終的聚類具有最大的類內(nèi)相似度和最小的類間相似度。該方法通常分為以下步驟：從個數(shù)據(jù)對象中隨機(jī)選擇個對象作為初始聚類中心；將剩余對象分別分配給與其距離最近的的聚類中心

10、所代表的聚類中；重新計算每個新聚類的聚類中心，及該聚類中所有對象的均值；重復(fù)2、3兩步直到均方誤差準(zhǔn)則函數(shù)達(dá)到收斂條件為止。（3）光流法基于運動信息光流是空間運動物體在觀測成像面上的像素運動的瞬時速度。光流的研究是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時域變化和相關(guān)性來確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結(jié)構(gòu)及其運動的關(guān)系。一般情況下，光流由相機(jī)運動、場景中目標(biāo)運動或兩者的共同運動產(chǎn)生。光流計算方法大致可分為三類：基于匹配的、頻域的和梯度的方法。（4）基于深度的圖像繪制方法（5）圖割法基于標(biāo)號的圖像匹配算法把圖像的視差看成標(biāo)號，建立標(biāo)號的能量函數(shù)，把匹配問題轉(zhuǎn)化為能量函數(shù)最小化問題。圖割算法通過構(gòu)造網(wǎng)格圖使能量函數(shù)與網(wǎng)格圖的割的容量相對應(yīng)，利用最大流/最小割理論求出對應(yīng)最小割。圖割法一般包含3個步驟：建立匹配能量函數(shù)、構(gòu)造網(wǎng)格圖、利用最大流求解能量函數(shù)的最小值。匹配能量