醫(yī)學圖像融合技術(shù)及運用

1、醫(yī)學圖像融合技術(shù)及運用    1醫(yī)學圖像融合技術(shù)1.1圖像融合的內(nèi)涵圖像融合是指將多源圖像傳感器所采集到的關(guān)于同一目標的圖像經(jīng)過一定的圖像處理,提取各自的有用信息,最后綜合成同一圖像以供觀察或進一步處理。從信息論的角度講,融合后的圖像將比組成它的各個子圖像具有更優(yōu)越的性能,綜合整體信息大于各部分信息之和,也就是說,融合的結(jié)果應該比任何一個輸入信息源包含更多的有用信息,即1+1>2,這就是圖像信息的融合2。1.2醫(yī)學圖像融合的分類一個完整的醫(yī)學圖像融合系統(tǒng)應該是各種成像設(shè)備、處理設(shè)備與融合軟件的總和。由于融合圖像的應用目的不同,決定了醫(yī)學圖像融合具有

2、各種各樣的形式。根據(jù)被融合圖像成像方式不同,可分為同類方式融合和交互方式融合。同類方式融合(也稱單模融合,mono2mo2dality)是指相同成像方式的圖像融合,如SPECT圖像間融合,MR圖像間融合等;交互方式融合(也成多模融合,multi2mo2dality)是指不同成像方式的圖像融合,如SPECT與MR圖像融合,PET與CT圖像融合等。按融合對象不同,可分為單樣本時間融合、單樣本空間融合以及模板融合。單樣本時間融合:跟蹤某一病人在一段時間內(nèi)對同一臟器所做的同種檢查圖像進行融合,可用于對比以跟蹤病情發(fā)展和確定該檢查對該疾病的特異性;單樣本空間融合:將某個病人在同一時間內(nèi)(臨床上將一周左右

3、的時間視為同時)對同一臟器所做幾種檢查的圖像進行融合,有助于綜合利用多種信息,對病情做出更確切的診斷;模板融合:是將病人的檢查圖像與電子圖譜或模板圖像進行融合,有助于研究某些疾病的診斷標準。另外,還可以將圖像融合分為短期圖像融合(如跟蹤腫瘤的發(fā)展情況時在13個月內(nèi)做的檢查圖像進行融合)與長期圖像融合(如治療效果評估時進行的治療后23年的圖像與治療后當時的圖像進行融合)。綜上所述,依據(jù)不同的分類原則,醫(yī)學圖像融合有多種方式,在實際應用中,臨床醫(yī)師還可以根據(jù)各種不同的診斷與治療目的不斷設(shè)計出更多的融合方式。1.3醫(yī)學圖像融合的主要技術(shù)方法與步驟醫(yī)學圖像融合的過程是一個漸進的過程,不同的融合方法有各

4、自具體的操作和處理,但是,不管應用何種技術(shù)方法,圖像融合一般都要經(jīng)過三大主要的步驟來完成,分別是圖像預處理、圖像配準和融合圖像的創(chuàng)建。1.3.1圖像預處理醫(yī)學圖像預處理是指對獲取的各種圖像數(shù)據(jù)做去除噪聲、對比度增強、感興趣區(qū)域分割等處理,統(tǒng)一各種數(shù)據(jù)的格式、圖像大小和分辨率,對于有條件的圖像還可以進行重新斷層分層以確保圖像在空間分辨率和空間方位上的大體接近。在此基礎(chǔ)上,還可根據(jù)目標特點或不同應用目的建立適當?shù)臄?shù)學模型。1.3.2醫(yī)學圖像配準醫(yī)學圖像配準是指對于一幅醫(yī)學圖像尋求一種或一系列空間變換,使它與另一幅醫(yī)學圖像上的對應點達到空間上的一致。這種一致是指人體上的同一解剖點在兩幅匹配圖像上有相

5、同的空間位置,配準的結(jié)果應使兩幅圖像上所有的解剖點,或至少是所有具有診斷意義的點及手術(shù)感興趣的點都達到匹配。圖像配準是圖像融合的先決條件與關(guān)鍵,圖像配準精度的高低直接決定著融合結(jié)果的質(zhì)量。目前,已存在多種配準方法,文獻3對醫(yī)學圖像配準技術(shù)做了詳細的歸納和總結(jié),配準處理一般可以分為圖像變換和圖像定位兩步:(1)圖像變換:其目的在于確保多源圖像的像素或體素表達的實際空間區(qū)域相同。確保多源圖像對同一臟器在空間描述上的一致性。圖像的變換包括平移、旋轉(zhuǎn)、定標、反射等處理,醫(yī)學圖像常用的基本變換有:剛體變換、仿射變換、投影變換和非線性變換。在圖像融合實踐中,以上幾種方法經(jīng)常聯(lián)合使用,一般都由計算機自動完成

6、,并可進行一些人工的修正,從而提高結(jié)果的準確性。(2)圖像定位:在實際應用中,圖像分辨率越高,圖像細節(jié)越豐富,實現(xiàn)點到點意義的對應難度越大。圖像的定位(配準)方法可大致分為兩大類:基于外部定位和基于內(nèi)部特征的方法?；谕獠慷ㄎ坏姆椒ㄓ?定標架法、面膜法和皮膚標記法等,其優(yōu)點是定位簡單,精度高(一般都可達到像素級的精度),缺點是這些方法僅限于剛體變換,而且有時會對人體產(chǎn)生一定程度的損傷?；趦?nèi)部特征的方法是從不同成像模式中提取共有特征的體位標志進行定位,這些體位標志包括解剖標志、幾何標志、局部點、線、表面輪廓特征和像素特征等,這類方法僅基于病人自身圖像的信息,是回顧性算法,不需在成像之前對病人做

7、任何特殊處理,缺點是內(nèi)部標志的尋找相當困難和麻煩,計算量大,需要人為介入,配準精度由具體算法決定。其主要方法有:標志點法:包括解剖標志點法和幾何標志點法;圖像分割配準法:包括曲線法、表面法等;基于像素特征的配準法:有矩和主軸法、相關(guān)法、最大互信息法和圖譜法等。近年來小波變換也被應用于圖像配準中,它可以利用在低分辨率下的配準參數(shù)作為基礎(chǔ)和引導,得到在高分辨率下更為準確的結(jié)果,這種方法有較強的魯棒性,而且可以加快配準時間。此外,基于一定數(shù)學物理模型的非線形配準也是近年研究的熱點。1.3.3醫(yī)學圖像融合醫(yī)學圖像在空間域配準之后,就可以進行融合了,融合圖像的創(chuàng)建又分為圖像數(shù)據(jù)的融合與融合圖像的顯示兩部

8、分來完成。(1)圖像數(shù)據(jù)融合:在當前的研究中,主要有兩類方法:以像素為基礎(chǔ)的方法和以圖像特征為基礎(chǔ)的方法4。以像素為基礎(chǔ)的方法,即點對點的方法。由于像素是圖像的基本元素,像素間灰度值的差異顯現(xiàn)出圖像中所包含的結(jié)構(gòu)信息,因此簡單地把兩幅圖像對應像素點的灰度值進行加權(quán)求和、灰度取大或者灰度取小等操作,便可得到一幅融合圖像。這類方法是對圖像進行逐點處理,所以用到的數(shù)學原理易于理解,算法實現(xiàn)也比較簡單,不過實現(xiàn)效果和效率都相對較差,融合后圖像會出現(xiàn)一定程度的模糊。以圖像特征為基礎(chǔ)的方法,要對圖像進行特征提取、目標分割等處理,用到的算法原理復雜,但是實現(xiàn)效果卻比較理想,能夠滿足診斷的要求?，F(xiàn)有的基于圖像

9、特征的融合方法幾乎都是從變換域上的圖像編碼和壓縮技術(shù)延伸來的,有Laplacian金字塔法5、Gaussian金字塔法6、比率低通金字塔法7、多分辨率形態(tài)濾波法8和小波變換法9等,這類方法融合的一般步驟為:將源圖像分別變換至一定的變換域上;在變換域上設(shè)計一定的融合規(guī)則;根據(jù)選取的規(guī)則在變換域上創(chuàng)建融合圖像;逆變換重建融合圖像。(2)融合圖像的顯示:融合圖像有多種直觀的顯示方法,常用的有偽彩色顯示法、斷層顯示法和三維顯示法等。偽彩色顯示法:由于人眼對彩色圖像的分辨能力是灰度圖像的幾千倍,因此對融合圖像采用偽彩色顯示可大大提高觀察者對圖像特征的識別能力。融合圖像的偽彩色顯示往往是以某個圖像為基準,

10、該圖像用灰度色階顯示,另一幅圖像疊加在基準圖像上,用彩色色階顯示;斷層顯示法:對于某些圖像可以將融合后的三維數(shù)據(jù)以橫斷面、冠狀面和矢狀面斷層圖像同步地顯示,便于觀察者進行診斷,這種顯示要求觀察者對于圖像三維層面特征有豐富的經(jīng)驗;三維顯示法:將融合后的三維數(shù)據(jù)以三維圖像的形式顯示,使觀察者可更直觀地觀察病灶的空間解剖位置,這在外科手術(shù)設(shè)計和放療計劃制定中有重要意義。2醫(yī)學圖像融合的應用前景經(jīng)過近些年的研究,圖像融合技術(shù)已開始應用在臨床治療和影像診斷中,并取得了許多令人可喜的成果。原發(fā)癲癇病灶的準確定位一直是困擾醫(yī)學影像界的一大難題,許多學者利用融合技術(shù)對此做了富有成效的探索。例如:Pelizza

11、ri等10對癲癇病人的MRI、PET圖像融合處理后,可觀察到病人的腦外傷、炎癥、硬化癥等的變化,還可看到手術(shù)及麻醉前后的區(qū)別;Lewis等11研究表明,于發(fā)作期和發(fā)作間期對癲癇患者分別進行SPECT檢查,將二者的圖像相減,再分別于MRI圖像融合,可使功能損傷的解剖學標記更準確,以SPECT所示的局部腦血流對大腦新皮質(zhì)的癲癇灶準確定位,從而為手術(shù)提供重要依據(jù)。將圖像融合技術(shù)應用于腦顱成像中,可以精確定位顱內(nèi)病變,提高診斷準確性。例如:Hill等12融合CT和MRI圖像,建立了大腦的三維坐標系統(tǒng),以輔助腦的定位治療,其定位精度高于單獨從一個圖中的定位;Rubinstein等13運用T1、TC、FD

12、G腦圖像與MR圖像融合對腦腫瘤手術(shù)或放療后的變化和復發(fā)進行監(jiān)測,對發(fā)現(xiàn)治療后腫瘤體積大小改變,區(qū)別腫瘤壞死與復發(fā)部分,均具有極高的診斷價值。在胸腹部圖像融合的應用中,由于胸腹部臟器形狀不規(guī)則又易受呼吸游動影響,很難做到精確配準,因此這方面的融合報道較少,但也有學者進行了有益的嘗試。如:Li14將MR融合到三維PET代謝圖中,顯示代謝與解剖信息,在對內(nèi)臟腫瘤患者的試驗中,以不同色彩顯示腹部各區(qū)域的三維圖像;Magnani等15證實,CT/PET對非小細胞肺癌侵犯縱隔淋巴結(jié)的分期診斷中,二者的融合圖像比單純應用CT或PET更為準確。在放射治療的應用中,利用融合圖像精確定位照射區(qū)與周圍正常組織的空間

13、關(guān)系,可減少周圍正常組織的放射性損傷。Wong等16對軔致輻射SPECT和CT圖進行三維融合,從而定位要進行放射治療的灌注后腫瘤,得到良好效果;Pinz等17應用圖像融合技術(shù)測定用核素標記的單抗治療淋巴瘤、肺癌和前列腺癌等惡性腫瘤的劑量,可詳細確定其放射性分布。在外科手術(shù)的應用中,準確了解病變與周圍組織的關(guān)系對制定手術(shù)方案,決定手術(shù)是否成功至關(guān)重要,Sannazzari等18以融合技術(shù)確定放射線標記的單克隆抗體聚積(SPECT)的解剖結(jié)構(gòu)(CT),可對術(shù)前及治療中的腫瘤進行精確分級和定位。3醫(yī)學圖像融合技術(shù)難點與存在的問題目前,醫(yī)學圖像融合技術(shù)中還存在許多尚未解決的技術(shù)難題。首先,由于各種成像

14、系統(tǒng)的成像原理不同,其圖像采集方式、格式以及圖像的大小、質(zhì)量、空間與時間特性都有很大差別,因此研究穩(wěn)定且精度較高的全自動醫(yī)學圖像配準與融合方法是圖像融合技術(shù)的難點之一;其次,圖像理解是醫(yī)學圖像融合的最終目的,圖像融合的潛力在于綜合處理應用各種成像設(shè)備所得信息以獲得新的有助于臨床診斷的信息,由于圖像融合技術(shù)目前還是一個全新的研究領(lǐng)域,因此,如何理解和利用這些新的綜合信息,還需要不斷地實驗和證明;最后,由于在實際圖像融合時,許多差異都是未知的,不可能達到絕對的最優(yōu),到目前為止,在多種多樣的圖像融合優(yōu)化準則中,很難說某一種準則一定比另一種好,特別是不存在一種絕對完美的融合圖像做參考,因此進一步研究能夠客觀比較和評價不同方法融合性能的標準也是亟需解決的問題。在圖像融合技術(shù)研究中,不斷有新的方法出現(xiàn),其中小波變換在圖像融合中的應用,基于有限元分析的非線形配準以及人工智能技術(shù)在圖像融合中的應用將是今后圖像融合研究的熱點與方向。由于融合研究起步較晚,以至現(xiàn)有的技術(shù)方法還只是針對具體病癥、具體問題發(fā)揮作用,通用性相對較弱;通過大量資料的查詢發(fā)現(xiàn),國外在融合方面的研究較多,不過大多數(shù)也還只是以少數(shù)幾個或幾十個病例為試驗對象,并沒有真正的普及到臨床診斷中去;醫(yī)學圖像融合的研究和臨床應用主要集中在大腦的診斷和手術(shù)治療,以及臟器腫瘤的診斷、定位等;另外,圖像的模態(tài)也主要以CT、MRI、核醫(yī)學圖像