圖形并行繪制與多屏顯示技術(shù)

1、圖形并行繪制與多屏顯示技術(shù)繪制 對(duì)于真實(shí)感圖形繪制而言，指用數(shù)學(xué)模型模擬客觀世界中物體與可見(jiàn)光的相互作用生成真實(shí)感圖象的過(guò)程。對(duì)于非真實(shí)感圖形繪制而言，指用數(shù)學(xué)模型或算法生成具有藝術(shù)風(fēng)格的圖象的過(guò)程。 數(shù)學(xué)模型算法集合軟件包驅(qū)動(dòng)程序硬件產(chǎn)生調(diào)用應(yīng)用圖形繪制的工業(yè)化過(guò)程圖形繪制的工業(yè)化過(guò)程高端應(yīng)用n需要高分辨率的場(chǎng)合，例如使用一個(gè)44的屏幕拼接實(shí)現(xiàn)4096 * 4096分辨率的大屏幕；n巨型幾何場(chǎng)景，如場(chǎng)景數(shù)據(jù)規(guī)模超過(guò)10M數(shù)量級(jí)以上的三角形面片n反走樣，例如33 走樣，計(jì)算量增加9倍之多n大紋理數(shù)據(jù)量，利用并行/分布圖形繪制可以滿(mǎn)足紋理數(shù)據(jù)過(guò)大的問(wèn)題，例如地球數(shù)據(jù)模型等n科學(xué)計(jì)算領(lǐng)域，例如有限

2、元計(jì)算，計(jì)算量非常大，一般使用大規(guī)模并行計(jì)算或者大規(guī)模分布計(jì)算環(huán)境，希望能夠集中顯示高端應(yīng)用：超高分辨率科學(xué)計(jì)算可視化孤立系統(tǒng)性能的限制ncompute-limited：產(chǎn)生幾何數(shù)據(jù)的能力ngraphics-limited：圖形計(jì)算能力ninterface-limited：幾何指令發(fā)射能力nresolution-limited：顯示分辨率追求高性能繪制n利用某些CPU的SIMD擴(kuò)展指令集能使幾何變換速度提高2030nAGP總線(xiàn)規(guī)范n不斷進(jìn)步的ASIC硬件技術(shù)等n繪制流水線(xiàn)技術(shù)n多條流水線(xiàn)并行技術(shù)非并行手段并行手段經(jīng)典的繪制流水線(xiàn)ModelingTransformationsBackfaceCu

3、llingLightingCalculationsViewingTransformationClippingRasterizationZ-bufferCompare &StoreGeometry PhaseRasterization Phase多條流水線(xiàn)并行繪制及其分類(lèi)方式預(yù)變換和分布圖元分布屏幕坐標(biāo)圖元圖像合成GRGRGRGGGGGRRRGRGRGRGSort-firstSort-middleSort-last 按照?qǐng)D形對(duì)象的分布方式可分為sort-first、sort-middle、sort-last三種。Sort-first 輸出圖像被劃分為一些不相交的區(qū)域，如小矩形或連續(xù)的掃描

4、線(xiàn)，每條繪制流水線(xiàn)負(fù)責(zé)一個(gè)或多個(gè)區(qū)域 圖元在進(jìn)入流水線(xiàn)之前，先進(jìn)行必要的計(jì)算以確定其覆蓋的區(qū)域，這種計(jì)算被稱(chēng)為“預(yù)變換” 通常方法為算出圖元在屏幕上的外包圍盒（bounding box）并進(jìn)行比較 一個(gè)圖元有可能覆蓋多個(gè)區(qū)域而進(jìn)入多條流水線(xiàn) 子圖像（subimage）拼接為最終圖像GGGG預(yù)變換和分布圖元RRRRSort-first優(yōu)缺點(diǎn) 各條流水線(xiàn)完整而獨(dú)立，且相對(duì)sort-middle和sort-last需要的通訊帶寬較小 有利于構(gòu)建集群式或異構(gòu)的并行繪制系統(tǒng)，如WireGL 預(yù)變換與部分幾何變換單元的計(jì)算重復(fù)，是一個(gè)不可避免的開(kāi)銷(xiāo) 對(duì)負(fù)載平衡敏感Sort-middle 輸出圖像被劃分成一

5、系列區(qū)域，并由多個(gè)子圖像拼接而成 ,同sort-first 不同的是圖元不考慮視點(diǎn)關(guān)系、任意地（比如按輪轉(zhuǎn)序）進(jìn)入各個(gè)幾何變換單元 幾何變換之后，圖元被轉(zhuǎn)換成了2D屏幕座標(biāo)，再根據(jù)屏幕座標(biāo)被傳送到正確的光柵化單元GGRRGRGR分布屏幕圖元亂序進(jìn)入Sort-middle優(yōu)缺點(diǎn) 幾何轉(zhuǎn)換和光柵化一般總是由不同的處理單元來(lái)處理，sort-middle在G、R之間打斷流水線(xiàn)的方式是最“自然”的 直觀和常用，有利模塊化地實(shí)現(xiàn) G與R的兩兩之間都需通訊，隨著處理單元的數(shù)目增多，通訊開(kāi)銷(xiāo)將呈幾何級(jí)數(shù)增長(zhǎng) 對(duì)負(fù)載平衡敏感 Sort-last 圖元任意地進(jìn)入各條流水線(xiàn)，并獨(dú)立完成幾何變換和掃描轉(zhuǎn)換 一直計(jì)算到

6、光柵化的最后一步：可見(jiàn)性判斷（visibility） 每條流水線(xiàn)都產(chǎn)生了包含部分圖元的完整分辨率的象素（樣本） 在合成單元（compositing processor）進(jìn)行深度合成或alpha混合，輸出最終圖像 GGGGRRRR圖像深度合成亂序進(jìn)入Sort-last優(yōu)缺點(diǎn) 簡(jiǎn)明 ，易于利用已有的系統(tǒng)模塊（尤其是硬件）實(shí)現(xiàn) 其性能不受圖元分布的影響，對(duì)負(fù)載平衡不敏感 圖像合成步驟易成為系統(tǒng)瓶頸 并行圖形繪制的三種實(shí)現(xiàn)方式n基于ASIC技術(shù)的硬件實(shí)現(xiàn)nsort-middle的InfiniteRealitynsort-last的Pixel-Flown基于并行計(jì)算機(jī)的實(shí)現(xiàn)n基于共享內(nèi)存并行機(jī)的sort

7、-last系統(tǒng)Parallel-Mesan基于分布式內(nèi)存消息傳遞并行機(jī)的sort-middle系統(tǒng)PGLn基于集群機(jī)的實(shí)現(xiàn)nsort-first的WireGLnsort-last的Sepiansort-first/sort-last混合型的AnyGLWireGLnSiggraph 2001 by Stanford University n解決了分布并行圖形系統(tǒng)系統(tǒng)關(guān)鍵問(wèn)題：指令編碼傳輸和狀態(tài)跟蹤 n第一個(gè)基于sort-first體系結(jié)構(gòu)并且獨(dú)立于硬件平臺(tái)的圖形集群繪制系統(tǒng) n第一次對(duì)所有關(guān)鍵技術(shù)問(wèn)題提出了完整、實(shí)際的解決方案 WireGL系統(tǒng)WireGL的后續(xù)：ChromiumnSiggrap

8、h 2002n明確地提出了“流處理” 的概念，圖形繪制過(guò)程被看作數(shù)據(jù)流在SPU（Stream Process Unit）間流動(dòng)的過(guò)程 n各種類(lèi)型SPU的連接組合可以生成各種結(jié)構(gòu)的并行繪制系統(tǒng) Chromium：繪制指令分布多屏幕拼接輸出的SPU組合 ApplicationTile sortChromium ServerRenderChromium ServerChromium ServerRenderChromium ServerRenderRender. . .應(yīng)用程序GNodeRNodeCNodeDNode應(yīng)用程序GNodeRNode應(yīng)用程序GNodeRNode應(yīng)用程序GNodeRNode

9、CNodeDNode網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)絡(luò)立即模式并行繪制系統(tǒng)AnyGL立即模式并行繪制系統(tǒng)AnyGLnAnyGL實(shí)現(xiàn)了大規(guī)?；旌戏植紙D形體系結(jié)構(gòu)，實(shí)現(xiàn)了sort-first與sort-last的混合分布圖形體系結(jié)構(gòu)，解決了分布圖形計(jì)算的可擴(kuò)展性問(wèn)題，系統(tǒng)節(jié)點(diǎn)數(shù)目不受限制 nAnyGL實(shí)現(xiàn)了一個(gè)分布的虛擬并行圖形流水線(xiàn)，可劃分為四類(lèi)邏輯節(jié)點(diǎn)：幾何數(shù)據(jù)分配節(jié)點(diǎn)，幾何圖形繪制節(jié)點(diǎn)，深度圖像合成節(jié)點(diǎn)和圖形顯示節(jié)點(diǎn)。AnyGL允許一個(gè)物理節(jié)點(diǎn)支持多個(gè)多種類(lèi)型的邏輯節(jié)點(diǎn)，能夠利用SMP系統(tǒng)的多圖形加速卡實(shí)現(xiàn)并行計(jì)算。 并行圖形繪制方法分類(lèi)的新思路:兩種API應(yīng)用程序應(yīng)用程序立即模式繪制器立即模式繪制器應(yīng)用程序應(yīng)用

10、程序保留模式繪制器保留模式繪制器進(jìn)程A進(jìn)程A進(jìn)程B進(jìn)程B(a) 立即模式API(b) 保留模式API模型數(shù)據(jù)模型數(shù)據(jù)并行圖形繪制方法分類(lèi)的新思路：兩種并行繪制體系結(jié)構(gòu)進(jìn)程D進(jìn)程D進(jìn)程C進(jìn)程C應(yīng)用程序應(yīng)用程序立即模式繪制器立即模式繪制器應(yīng)用程序應(yīng)用程序保留模式繪制器保留模式繪制器進(jìn)程A進(jìn)程A進(jìn)程B進(jìn)程B局域網(wǎng)局域網(wǎng)(a) 立即模式并行繪制(b) 保留模式并行繪制模型數(shù)據(jù)模型數(shù)據(jù)并行圖形繪制方法分類(lèi)的新思路n傳統(tǒng)上圖形繪制API分為立即模式和保留模式兩種 n立即模式系統(tǒng)數(shù)據(jù)存儲(chǔ)于客戶(hù)端，保留模式系統(tǒng)數(shù)據(jù)存儲(chǔ)于服務(wù)器端n并行繪制系統(tǒng)可分為立即模式并行繪制系統(tǒng)和保留模式并行繪制系統(tǒng) 客戶(hù)節(jié)點(diǎn)繪制節(jié)點(diǎn)幾

11、何數(shù)據(jù)歸屬判斷數(shù)據(jù)調(diào)整負(fù)載平衡顯示設(shè)備對(duì)象分布策略拼接輸出幾何數(shù)據(jù)幾何數(shù)據(jù)幾何數(shù)據(jù)繪制節(jié)點(diǎn)繪制節(jié)點(diǎn)繪制節(jié)點(diǎn)保留模式并行繪制系統(tǒng)的構(gòu)架保留模式系統(tǒng)的數(shù)據(jù)分布存儲(chǔ)立即模式并行繪制系統(tǒng)： 數(shù)據(jù)集中幾何指令分布，對(duì)網(wǎng)絡(luò)帶寬高度依賴(lài)，網(wǎng)絡(luò)帶寬和歸屬計(jì)算易成為系統(tǒng)瓶頸 數(shù)據(jù)都在客戶(hù)端，每繪制一幀，所有幾何數(shù)據(jù)就作為指令的參數(shù)分布到服務(wù)器上，服務(wù)器繪制完畢，即將數(shù)據(jù)丟棄，繪制下一幀時(shí)重復(fù)同樣的過(guò)程 結(jié)構(gòu)缺乏彈性，無(wú)法有效利用圖形應(yīng)用程序的幀間相似性 對(duì)策n交互式圖形應(yīng)用程序普遍存在幀間相似性（frame-to-frame coherence），完全突兀的幀是少的，理論上兩幀之間只需進(jìn)行少量的數(shù)據(jù)調(diào)整 n保留

12、模式系統(tǒng)中幾何數(shù)據(jù)分布于繪制節(jié)點(diǎn)n只要能實(shí)現(xiàn)一種數(shù)據(jù)分布幀間調(diào)整的系統(tǒng)構(gòu)架，就可能降低網(wǎng)絡(luò)數(shù)據(jù)流量，避免帶寬瓶頸系統(tǒng)流程n客戶(hù)端讀入幾何數(shù)據(jù)集G，對(duì)G進(jìn)行剖分并構(gòu)造Cell結(jié)構(gòu) n在繪制第一幀之前，客戶(hù)端以Cell為單位作歸屬判斷，并根據(jù)歸屬關(guān)系將Cells分布到各個(gè)繪制節(jié)點(diǎn) n繪制第一幀 n如用戶(hù)改變視角，客戶(hù)端計(jì)算新的幾何變換矩陣并發(fā)指令到各個(gè)繪制節(jié)點(diǎn)，不重發(fā)G 5.繪制節(jié)點(diǎn)根據(jù)新的變換矩陣對(duì)本機(jī)所擁有的圖元作歸屬判斷。若某一圖元?dú)w屬于另一繪制節(jié)點(diǎn)，則將此圖元發(fā)送到該繪制節(jié)點(diǎn)。若某一圖元不再歸屬于本繪制節(jié)點(diǎn)，則將其刪除。多個(gè)繪制節(jié)點(diǎn)之間發(fā)送和接收?qǐng)D元的過(guò)程稱(chēng)為調(diào)整（adjust）。調(diào)整之后

13、，每個(gè)繪制節(jié)點(diǎn)都擁有且只擁有歸屬于它的圖元 6.繪制新的幀 ApplicationAFServerAFServerAFServerAFServerAF ProtocolAF ClientAPI callingimage outputAF Protocol communication原型系統(tǒng)結(jié)構(gòu)多機(jī)加速和調(diào)整率調(diào)整率c：通過(guò)網(wǎng)絡(luò)的數(shù)據(jù)量和全部數(shù)據(jù)量之比保留模式并行繪制系統(tǒng)受控的歸屬判斷n立即模式并行繪制通過(guò)傳送幾何指令包分布繪制任務(wù)n由于立即模式并行繪制系統(tǒng)不擁有數(shù)據(jù)，幾何數(shù)據(jù)發(fā)射的順序完全由應(yīng)用程序決定，而后者的行為是不可預(yù)測(cè)的n如果應(yīng)用程序發(fā)射的幾何數(shù)據(jù)在空間排列上是混亂的，可能使外包圍盒過(guò)

14、大，導(dǎo)致不必要的傳輸和繪制開(kāi)銷(xiāo) 123456123465(a) 理想情況(b) 不利情況對(duì)策n保留摸索并行繪制系統(tǒng)擁有特殊的優(yōu)勢(shì)：對(duì)數(shù)據(jù)的控制能力n對(duì)模型數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)模型進(jìn)行剖分，生成緊湊的外包圍盒n按合理的順序發(fā)射數(shù)據(jù)n可降低圖元?dú)w屬于多個(gè)繪制服務(wù)器的概率。 Dragon模型的box剖分Ball：比Box更進(jìn)一步nBall = (Pcenter, R, Geometry) nPcenter為中心點(diǎn)，R為半徑，Geometry為Ball內(nèi)的幾何圖元數(shù)據(jù) n一個(gè)Ball包含了空間上相近的一組幾何元素 n與立方體外包圍盒相比，Ball定義了一個(gè)球，能更快的進(jìn)行歸屬判斷 Dragon模型的ba

15、ll剖分負(fù)載不平衡的情況實(shí)用有效的并行繪制負(fù)載平衡算法負(fù)載平衡的情況實(shí)用有效的并行繪制負(fù)載平衡算法靜態(tài)并行繪制負(fù)載平衡算法1111222233334444問(wèn)題n屏幕配置一旦完成，系統(tǒng)就處于被動(dòng)等待的狀態(tài) n依據(jù)“圖元更易出現(xiàn)在屏幕中央”這一統(tǒng)計(jì)規(guī)律，因此其有效性也是統(tǒng)計(jì)意義上的 n針對(duì)具體的圖形應(yīng)用的適應(yīng)性差，不能滿(mǎn)足高性能圖形并行繪制的需要 動(dòng)態(tài)并行繪制負(fù)載平衡算法1234567812345678（b） Whelan算法(c)Whitman算法125(d)MADH算法346784241234(a) Roble 算法13動(dòng)態(tài)方法特點(diǎn) 利用所有圖元的頂點(diǎn)位置、幾何變換矩陣等幾何數(shù)據(jù)作為輸入計(jì)算負(fù)

16、載平衡狀態(tài)最佳的屏幕剖分，因此可以將統(tǒng)稱(chēng)為“基于幾何數(shù)據(jù)分析”的方法。這些方法能根據(jù)應(yīng)用程序的實(shí)際行為動(dòng)態(tài)調(diào)整繪制負(fù)載的分配，具有較高的智能性。 基于幾何數(shù)據(jù)分析的動(dòng)態(tài)方法的不足 n負(fù)載估算的精確度不足 n計(jì)算開(kāi)銷(xiāo)過(guò)大 n實(shí)施難度較大 基于時(shí)空轉(zhuǎn)換的并行繪制負(fù)載平衡算法的原理1s2s3s(a)(b)(c)基于時(shí)空轉(zhuǎn)換的并行繪制負(fù)載平衡算法的原理 n以繪制服務(wù)器的工作時(shí)間作為其負(fù)載的度量n通過(guò)適當(dāng)?shù)乃惴▽r(shí)間值轉(zhuǎn)換為空間值n空間值控制對(duì)繪制服務(wù)器的任務(wù)分配n放棄了龐大的幾何數(shù)據(jù)n一種相對(duì) “輕量”的算法 流程n客戶(hù)端發(fā)送幾何變換矩陣和屏幕區(qū)域Aik到繪制節(jié)點(diǎn)Si，啟動(dòng)第k幀繪制，并通知負(fù)載平衡模

17、塊；nSi完成Aik像素的繪制，通知客戶(hù)端；n客戶(hù)端主程序通知負(fù)載平衡模塊，后者記錄繪制時(shí)間tik；n所有Si繪制結(jié)束，拼接圖像并輸出；n負(fù)載平衡模塊進(jìn)行計(jì)算，得出屏幕剖分方式Aik+1，用做下一幀繪制任務(wù)分配。 (a)(b)(c)(d)32145678t1wihit2t3t4t5t6t7t8屏幕剖分的三種方式校區(qū)漫游程序?qū)嶋H效果橫軸為繪制幀數(shù)，縱軸為時(shí)間（秒），藍(lán)線(xiàn)不使用負(fù)載平衡控制（固定分割屏幕），紅線(xiàn)使用負(fù)載平衡控制。 橫軸為繪制幀數(shù)，縱軸為最短繪制時(shí)間和最長(zhǎng)繪制時(shí)間之比，藍(lán)線(xiàn)不使用負(fù)載平衡控制（固定分割屏幕），紅線(xiàn)使用負(fù)載平衡控制 實(shí)用的多屏并行繪制系統(tǒng)MSPRn保留模式的分布并行繪制系統(tǒng) n類(lèi)OpenGL的保留模式編程APIn對(duì)應(yīng)用程序透明的圖形對(duì)象分布策略，包括圖形對(duì)象定義、刪除、遠(yuǎn)程調(diào)用、繪制同步等機(jī)制n多屏高分