基于區(qū)域匹配的圖像白平衡調(diào)整

1、基于區(qū)域匹配的圖像白平衡調(diào)整Zhou MiRevision 1.0WARNINGThis document contains confidential information that could be substantially detrimental to the interest of Tianjin Botro Electronical Tech Co., Ltd through unauthorized use or disclose.Table Of Contents1Open Issues31.1 Open Feature Issues31.2 Open Implementati

2、on Issues32引言43需求分析53.1子區(qū)域匹配53.2 白平衡調(diào)整74附錄95Revision Changes101 Open IssuesList all open issues. Include short description of resolution when closed. This should not be detailed.1.1 Open Feature Issues1)Issue: Resolution: 2)Issue:Resolution:3)Issue: Resolution:1.2 Open Implementation Issues1)Issue:R

3、esolution:2)Issue:Resolution:2 引言數(shù)字視頻在LCD、LCOS和大屏電視墻顯示時(shí)，由于液晶分子本身固有的物理性質(zhì)所造成的特殊光電效應(yīng)、熒光管亮度不足、數(shù)模轉(zhuǎn)換存在噪聲、子屏幕顯示特性不同以及屏幕老化等因素會(huì)造成圖像誤差和扭曲，加上用戶的視覺調(diào)節(jié)和測(cè)試需求，往往需要對(duì)圖像顏色加以校正。本課題根據(jù)數(shù)字視頻顯示原理，提出了一種對(duì)彩色圖像分區(qū)域匹配后進(jìn)行白平衡調(diào)整的方法。3 需求分析基于區(qū)域匹配的圖像白平衡調(diào)整根據(jù)顏色調(diào)節(jié)需要將一幀圖像分為多個(gè)不同的子區(qū)域，并對(duì)這些子區(qū)域執(zhí)行不同的調(diào)整方法。要求子區(qū)域形狀為矩形且可相互重疊，大小和數(shù)目可以根據(jù)用戶需要而改變，只要這些子區(qū)域

4、大小沒有超過當(dāng)前顯示屏幕最大尺寸，數(shù)目沒有超過系統(tǒng)存儲(chǔ)器數(shù)目所支持的最大校正數(shù)目，對(duì)同一子區(qū)域R、G、B各個(gè)顏色通道的校正相互獨(dú)立、方法相同，并充分考慮各個(gè)子區(qū)域不同的白平衡調(diào)整參數(shù)。調(diào)整后的圖像在在空間上彼此銜接，形成一幅穩(wěn)定、完整的圖像。3.1子區(qū)域匹配顏色校正方法通?？梢苑譃閮深悾?)基于圖像設(shè)備的校正方法，通過確定源顏色空間到目標(biāo)顏色空間的映射關(guān)系實(shí)現(xiàn)顏色空間轉(zhuǎn)換，其中的代表方法是矩陣法、查表法、多項(xiàng)式回歸法和人工神經(jīng)網(wǎng)絡(luò)法，這類方法常用于確定圖像輸入輸出設(shè)備的前提下；2)基于圖像分析的校正方法，一方面可以利用色度均值和分布特性根據(jù)自身需要進(jìn)行自校正，另一方面可以指定參考圖像，其他待校

5、正圖像的顏色風(fēng)格都要與其一致，通常采用統(tǒng)計(jì)信息或區(qū)域信息作為校正信息進(jìn)行準(zhǔn)確的校正。本課題采用用戶根據(jù)自己視覺調(diào)節(jié)需求指定的子區(qū)域信息作為校正信息，進(jìn)行準(zhǔn)確的白平衡調(diào)整，主要需要完成子區(qū)域位置信息存儲(chǔ)以及子區(qū)域匹配。根據(jù)數(shù)字視頻顯示的原理，首先將用戶需要調(diào)整的子區(qū)域，按照其在視頻顯示過程中出現(xiàn)順序，由先到后排列，然后將這些子區(qū)域各自的起始、終止位置信息，按照其排列順序由先到后依次存儲(chǔ)在對(duì)應(yīng)的起始、終止位置存儲(chǔ)器中。在視頻顯示過程中，利用場(chǎng)信號(hào)（f_in）、行掃描信號(hào)（h_in）、列掃描信號(hào)（v_in）以及行（col）、列（row）計(jì)數(shù)信號(hào)，很容易得到屏幕中各行、列信息col、 row。 由于需

6、要顏色校正的子區(qū)域行（列）起始、終止位置信息HATART、HSTOP（VSTART、VSTOP）存儲(chǔ)在不同的存儲(chǔ)器中，我們只需將掃描得到的行（列）信息col（row）及時(shí)的與行（列）起始、終止位置存儲(chǔ)器中存儲(chǔ)的行（列）信息HATART、HSTOP（VSTART、VSTOP）比較即可實(shí)現(xiàn)某個(gè)子區(qū)域的匹配，該過程如下所示：圖1 子區(qū)域匹配結(jié)構(gòu)一幀開始時(shí)col=0，row=0。HSTART memory、HSTOP memory（VSTART memory、VSTOP memory）代表用戶指定校正區(qū)域的行（列）起始、終止位置存儲(chǔ)器（Region Memory）。因?yàn)楦鶕?jù)用戶自己的視覺校正需求所指定

7、的不同矩形子區(qū)域，在顯示過程中有一部分像素可能相互重疊，所以，子區(qū)域匹配過程中，與同一個(gè)行（列）位置消息比較、匹配后的子區(qū)域可能不止一個(gè)。而在顏色校正過程中，每次只能選擇一個(gè)匹配后的子區(qū)域進(jìn)行白平衡調(diào)整，因此，當(dāng)匹配后的子區(qū)域數(shù)目多于一個(gè)時(shí)，必須先判斷其顯示順序，即通過區(qū)域選擇（Region Selection)來決定對(duì)哪一個(gè)子區(qū)域先進(jìn)行顏色校正。4 系統(tǒng)方案及實(shí)現(xiàn)根據(jù)系統(tǒng)子區(qū)域匹配的結(jié)構(gòu)，及時(shí)、準(zhǔn)確地實(shí)現(xiàn)掃描過程中的行（列）信息與行（列）位置存儲(chǔ)器中HSTART、HSTOP（VSTART、VSTOP）值比較，是實(shí)現(xiàn)子區(qū)域匹配的關(guān)鍵。本方案中，行位置信息比較通過乒乓操作實(shí)現(xiàn)，乒乓操作的最大特點(diǎn)

8、是通過輸入數(shù)據(jù)流選擇單元和輸出數(shù)據(jù)流選擇單元按節(jié)拍、相互配合地切換，將經(jīng)過緩沖的數(shù)據(jù)流沒有停頓地送到數(shù)據(jù)流運(yùn)算處理模塊實(shí)現(xiàn)運(yùn)算與處理。把乒乓操作當(dāng)做一個(gè)整體，站在這個(gè)整體的兩端看行數(shù)據(jù)信息，輸入數(shù)據(jù)流和輸出數(shù)據(jù)流都是連續(xù)不斷的，沒有任何停頓，非常適合對(duì)行信息數(shù)據(jù)流進(jìn)行流水線式處理。乒乓操作完成了行信息數(shù)據(jù)的無縫緩沖預(yù)處理，實(shí)現(xiàn)了低速模塊處理高速數(shù)據(jù)，節(jié)約了緩沖區(qū)空間。針對(duì)本方案中子區(qū)域匹配對(duì)速度要求高，且容量不是特別大（當(dāng)前用戶顯示屏幕的分辨率為2048*2048時(shí)，最大校正區(qū)域像素?cái)?shù)目2048*2048），選用靜態(tài)存儲(chǔ)器SRAM作為所需的區(qū)域位置存儲(chǔ)器。以當(dāng)前用戶顯示屏幕的分辨率為2048*

9、2048時(shí)，用戶所指定校正子區(qū)域?yàn)?2個(gè)為例，一幀圖像顯示前，首先將這32個(gè)校正子區(qū)域按照其起始、終止位置在視頻顯示中出現(xiàn)的順序排列，然后以順序結(jié)構(gòu)依次存儲(chǔ)在區(qū)域位置存儲(chǔ)器HSTART memory、HSTOP memory、VSTART memory、VSTOP memory中。SRAM中Region Memory共44位，結(jié)構(gòu)定義如下： 圖2 Region Memory以HSTART memory為例，44位中4332位存儲(chǔ)值為子區(qū)域行起始位置，低031位中哪一位為1則該位對(duì)應(yīng)區(qū)域HSTART值即為4332位所存儲(chǔ)的值，例如，031位中“i”（i=0，1，31）位為“1”，則32個(gè)子區(qū)域中

10、第i+1個(gè)子區(qū)域HSTART值即為4332位所存儲(chǔ)的值，這樣當(dāng)用戶定義兩個(gè)甚至多個(gè)子區(qū)域的行（列）起始位置相同時(shí)，我們可以根據(jù)其匹配后對(duì)應(yīng)的031位來決定先對(duì)哪個(gè)子區(qū)域進(jìn)行白平衡調(diào)整，約定匹配后對(duì)應(yīng)的i位越低，其白平衡調(diào)整優(yōu)先級(jí)越高，即0位的白平衡調(diào)整優(yōu)先級(jí)最高，其次是1位、2位、31位。由于32個(gè)不同子區(qū)域的HSTART值在Region Memory中是按其顯示出現(xiàn)順序排列的，于是，掃描過程中與這32個(gè)子區(qū)域所對(duì)應(yīng)行起始位置可以通過SRAM地址（address）直接讀到，省略了查找過程，加快了子區(qū)域匹配的速度?？偨Y(jié)一下，HSTART的區(qū)域匹配過程如下所示：圖3: Region Detecti

11、on Process需要說明的是，為了更快地實(shí)現(xiàn)行起始（終止）位置信息比較進(jìn)而實(shí)現(xiàn)子區(qū)域匹配，掃描過程中每當(dāng)開始新的一行，可以將前4個(gè)行起始（終止）位置信息預(yù)存入“pingpong”比較器，每當(dāng)匹配行一個(gè)起始（終止）信息，就從存儲(chǔ)器中重新讀入一個(gè)新的行起始（終止）位置信息。3.2 白平衡調(diào)整白平衡調(diào)整也稱灰度調(diào)整，包括暗白平衡調(diào)整和亮白平衡調(diào)整。相對(duì)于視頻解碼芯片，格式變換器Scaler屬于數(shù)字電路，對(duì)數(shù)字電路中的寄存器進(jìn)行調(diào)整，不僅可以減少畫面中圖像的紋波干擾，而且調(diào)整值的改變更加準(zhǔn)確。所以，在產(chǎn)品設(shè)計(jì)時(shí)一般都調(diào)整Scaler中的寄存器。Scaler中可供選擇的寄存器組有2種，第1組是三基色

12、R、G、B分別對(duì)應(yīng)的偏移(0FFSET)和增益(GAIN)寄存器，共6個(gè)，第2組為伽馬校正寄存器。系統(tǒng)一般都是調(diào)整OFFSET和GAIN。由于電于產(chǎn)品需要向用戶開放亮度和對(duì)比度的調(diào)整功能，OFFSET和GAIN寄存器要被占用。如果白平衡調(diào)整的最終結(jié)果仍然使用該組寄存器就會(huì)面臨沖突。所以，系統(tǒng)軟件首先是利用OFFSET和GAIN寄存器進(jìn)行自平衡的自動(dòng)調(diào)整，然后再把調(diào)整后的值存入SRAM中。首先進(jìn)行暗平衡調(diào)整，產(chǎn)生低亮度白信號(hào)輸入到LCD中，調(diào)整OFFSET使色溫與色差都達(dá)到要求。然后進(jìn)行亮平衡調(diào)整，產(chǎn)生高亮度白信號(hào)輸入到LCD中，調(diào)整GAIN使色溫和色差都達(dá)到要求。由于OFFSET和GAIN對(duì)輸

13、出信號(hào)改變是相互的，暗平衡和亮平衡需要交替調(diào)整數(shù)次。當(dāng)調(diào)整完成后，信號(hào)改變過程見下式（以G通道為例）：G_out = g_in*ggain + goffset*(WLg_in*ggain) 式中，ggain 、 goffset為白平衡調(diào)整后所得到的調(diào)整系數(shù)，WL為白電平。 開放亮度和對(duì)比度的調(diào)整后，用戶定義白平衡調(diào)整系數(shù)分別為gain_master、offset_master，G通道總的增益校正為Cont(x,y)，偏移校正為Br(x,y)。對(duì)于處于子區(qū)域匹配內(nèi)部的像素點(diǎn)，對(duì)I(x,y)的增益和偏移校正分別為：Cont(x,y) = gain + gain_master + gain_hram

14、p*(x-1) + gain_vramp*(y-1)；Br(x,y) = offset + offset_master + offset_hramp*(x-1) + offset_vramp*(y-1)；對(duì)于位于匹配子區(qū)域之外的像素點(diǎn)，可以認(rèn)為它們對(duì)數(shù)字圖像顯示的顏色影響不大，對(duì)其白平衡調(diào)整為：Cont(x,y) = 1 + gain_master；Br(x,y) = 1 + offset_master；校正后G通道的值G_out = G_Cont(x,y) * (1 Br(x,y) + Br(x,y) * WL，其中G_Cont(x,y) = g_in(x,y) * Cont(x,y)。對(duì)B通道和R通道的偏移和增益校正采用和G通道相同的辦法。4 附錄1 名詞縮寫：2 名詞縮寫：3 5 Revision ChangesThis section is optional for changes to the document before the first official release to other groups (rev 1.0). After t