形狀放射組學(xué)和深層特征在深度學(xué)習(xí)下膠質(zhì)母細(xì)胞瘤生存預(yù)測的功效

1、形狀放射組學(xué)和深層特征在深度學(xué)習(xí)下膠質(zhì)母細(xì)胞瘤生存預(yù) 測的功效t抽象膠質(zhì)母細(xì)胞瘤（稱為多形性膠質(zhì)母細(xì)胞瘤）是最具侵襲性的腦惡性腫瘤之一，占所有原發(fā)性腦腫瘤的48%。因此，總體生存期 預(yù)測在膠質(zhì)母細(xì)胞瘤患者的診斷和治療計劃中起著至關(guān)重要的作用。我們研究的主要目標(biāo)是證明從整個腫瘤的組合中提取的特 征的有效性，并增強腫瘤對整體生存預(yù)測的影響。所提方法利用形狀輻射組學(xué)和深層特征兩種特征。首先，利用Cox比例風(fēng)險 模型選擇由球形度、最大三維直徑和外表積組成的最優(yōu)形狀放射組學(xué)特征.其次，ResNet18直接從磁共振圖像中提取深層特征。 最后，所選形狀特征、深層特征和臨床信息的組合擬合回歸模型，用于總體生存

2、預(yù)測。所提方法取得了可喜的成績，準(zhǔn)確度和 均方誤差指標(biāo)分別獲得57.1%和97, 531.8%的誤差。此外，使用所選要素，均方誤差指標(biāo)上的結(jié)果略優(yōu)于競爭方法。這些實 驗是在腦腫瘤分割挑戰(zhàn)（BraTS） 2018驗證數(shù)據(jù)集上進行的。關(guān)鍵字:膠質(zhì)母細(xì)胞瘤;塑造放射組學(xué)特征;總體生存預(yù)測;深層特征.引言神經(jīng)膠質(zhì)瘤是一種原發(fā)性腦腫瘤類型，當(dāng)神經(jīng)膠質(zhì)細(xì)胞生長失控時形成。膠質(zhì)瘤在大腦中生長，并在脊髓局部開展。最常 見的侵襲性腦腫瘤約占腦部原發(fā)腫瘤的80%山。膠質(zhì)瘤分為四個等級（I, II, III和IV）,治療計劃取決于等級水平。雖然I級 和II級被認(rèn)為是低級別膠質(zhì)瘤（LGG）,但III級和IV級被稱為高

3、級別膠質(zhì)瘤（HGG）。與HGG組相比，LGG組（稱為良性 腫瘤）具有長期生存期。IV級類型是最具侵襲性的原發(fā)性腦腫瘤，稱為膠質(zhì)母細(xì)胞瘤（GBM ）。膠質(zhì)母細(xì)胞瘤可能發(fā)生在所有 年齡段，尤其是老年人。如今，GBM的治療僅延長了不到2年的患者的生存時間，并且需要立即進行治療2。GBM具有四種 腫瘤內(nèi)結(jié)構(gòu)，包括增強腫瘤（ET）,非增強性腫瘤（nET）,壞死和水腫，如圖1所示。腫瘤內(nèi)結(jié)構(gòu)分為三個GBM腫瘤區(qū)域: 包含所有亞腫瘤結(jié)構(gòu)的整個腫瘤，除水腫外的腫瘤核心結(jié)構(gòu)以及單獨的ET局部。磁共振成像（MRI）是神經(jīng)腫瘤學(xué)中用于診斷和治療計劃的最廣泛的侵入性技術(shù)之一。根據(jù)MRI機器上的模式設(shè)置，有 四種模式，

4、包括T1加權(quán)（T1） , T1加權(quán)比照度增強（T1Ce） , T2加權(quán)（T2）和流體衰減反轉(zhuǎn)恢復(fù)（FLAIR）,如下列圖2所 示。使用不同的MRI方式來評估腫瘤的水平、其演變和對治療的反響2。雖然T1Ce模式具有增強劑鋁，注射到體內(nèi)并增強腫 瘤核心的亮度，但FLAIR模式抑制液體（主要是腦脊液）腦脊液）并增強水腫局部。最近，從MRI模式中提取的放射組學(xué)特征和腫瘤的分段圖已被用于預(yù)測各種癌癥類型的預(yù)后和治療反響。放射組學(xué)特征 包括許多有價值的特征，這些特征描述了腦腫瘤的統(tǒng)計數(shù)據(jù)，形狀和質(zhì)地。研究說明，腫瘤的放射組學(xué)特征與GBM患者的生存 日之間存在關(guān)系。受形狀特征對患者OS天數(shù)的重要性的啟發(fā)2,

5、本研究旨在評估最重要的形狀特征，以估計患者的生存時間。 此外，應(yīng)用深度學(xué)習(xí)模型來預(yù)測患者的OS時間。在本文中，我們提出了一種預(yù)測患者生存時間的方法，包括兩個階段。首先，由于GBM中具有小尺寸增強的腫瘤，因此 DK-Net 4用于分割腫瘤區(qū)域。之后，應(yīng)用單變量和多變量Cox比例風(fēng)險模型（CoxPH）來尋找與GBM患者生存時間相關(guān)的 最顯著的形狀特征。接下來，使用3DResNet18提取深層特征，以利用分段地圖中的腫瘤信息。最后，將選定的放射組學(xué)特征、 深層特征和臨床信息串聯(lián)起來，并適合多層感知器，以預(yù)測患者的生存時間（以天為單位）。我們在這項工作中的貢獻如下：球形度、3D最大直徑和外表積是與膠質(zhì)

6、母細(xì)胞瘤患者生存分析相關(guān)的三個重要形狀特征。此外，基于風(fēng)險比的增強 腫瘤的這些特征對患者生存時間的影響大于整個腫瘤的特征。除了形狀特征外，與僅從整個腫瘤中提取的特征相比，從增強腫瘤和整個腫瘤中提取的特征（稱為深層特征）對于生存預(yù)測至關(guān)重要;因此，增強腫瘤特征會影響GBM患者的生存預(yù)測。.相關(guān)工作近年來，已經(jīng)進行了很多研究來預(yù)測GBM患者的OS天數(shù)。大多數(shù)趨勢分析方法包含兩個階段：分割和使用分割圖中的 放射性組學(xué)特征來預(yù)測生存時間。Shboul等人利用隨機森林（RF）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的融合來獲得分段圖，之后，RF 預(yù)測模型用于預(yù)測生存日，基于Kaplan-Meier曲線，使用1366個特

7、征中的240個最基本特征來預(yù)測生存日。在中，Baid 等人使用具有三階段編碼器-解碼器架構(gòu)的3D Unet模型來獲得分段映射。之后，提取放射組學(xué)特征并擬合多層感知器（MLP） 網(wǎng)絡(luò)以進行OS預(yù)測。Feng等人利用3D UNets的融合，結(jié)合輸入大小、編碼器/解碼器模塊的數(shù)量和層數(shù)的變化，對分割任務(wù) 的結(jié)果進行魯棒性分析。根據(jù)分割結(jié)果，手動識別體積、形狀和外表積，并與臨床信息相結(jié)合，通過線性回歸獲得OS天數(shù)7。 在網(wǎng)中，應(yīng)用了三個不同網(wǎng)絡(luò)的增強融合，包括Unet，DFKZnet10和CA-CNN11,通過多數(shù)投票獲得最終的分割結(jié)果。 14個選定的放射組學(xué)特征適合RF進行OS預(yù)測。Madjid 1

8、2等人發(fā)現(xiàn)，基于位置的特征有效地增強了預(yù)測結(jié)果。他們通過 從腫瘤到大腦中心的距離，腫瘤的最大直徑以及具有最大腫瘤直徑的垂直載玻片數(shù)來識別基于位置的特征。結(jié)合所選的放射組 學(xué)功能，OS預(yù)測結(jié)果略有改善。根據(jù)13,通過描述腫瘤大小，形狀和質(zhì)地的CNN網(wǎng)絡(luò)從MRI模式中提取深層特征。此外， 通過非局部模塊和擠壓激勵模塊的集成，提出NRSE模型，使分割結(jié)果魯棒性。最后，應(yīng)用因子分析來減少放射組學(xué)特征和深 層特征，其余所有特征擬合RF回歸以獲得OS天數(shù)。此外，由于腫瘤分割用于真實標(biāo)記的時間消耗，一些研究人員提出直接使用從MRI模式中提取的特征。在14中，Renato 等人提出了一種不進行分割的OS預(yù)測方

9、法，方法是使用識別腫瘤位置的顯著性圖。結(jié)合臨床信息，與其他方法相比，OS預(yù)測 結(jié)果很有希望。根據(jù)15, Linmin Pei等人直接從CNN網(wǎng)絡(luò)中提取高維特征以獲得OS預(yù)測結(jié)果年齡是用于改善結(jié)果的附 加特征。通過LASSO方法選擇相關(guān)特征，并將所有特征擬合到線性回歸以獲得結(jié)果。.材料和方法概述受ET和WT 2的形狀放射組學(xué)特征有效性的啟發(fā)，我們的方法包含兩個階段，包括基于所選形狀特征的分割和生存預(yù)測。 首先，由于增強腫瘤的重要性1,利用DK-Net4來增強ET分割圖的結(jié)果。之后，從ET和WT局部提取所有形狀放射組學(xué)特 征，并應(yīng)用Cox比例風(fēng)險模型評估的風(fēng)險比，以證明每個特征對患者生存時間的重要

10、性。接下來，使用3DResNet18,從整個 腫瘤和增強腫瘤中提取深層特征。然后，應(yīng)用隨機森林算法從ET和WT中選擇最主要的9個深度特征。最后，將選定的形狀 特征、深層特征和臨床特征擬合到多層感知器中，用于GBM患者的生存預(yù)測。我們模型的體系結(jié)構(gòu)如圖3所示。3 2數(shù)據(jù)集這些實驗是在腦腫瘤分割（BraTS） 2018數(shù)據(jù)集上進行的3, 16, 17。BraTS 2018數(shù)據(jù)集包含285和66個訓(xùn)練和 有效數(shù)據(jù)集樣本;然而，只有163和53個樣本用于生存預(yù)測任務(wù)。每個患者樣本由4種MRI模式組成，包括T1加權(quán)、后對 比T1加權(quán)（T1Ce）、T2加權(quán)（T2）和T2液體衰減倒置恢復(fù)（FLAIR）。此外

11、，還為訓(xùn)練數(shù)據(jù)提供了分割的基本領(lǐng)實, 包含用于nET/壞死的標(biāo)簽1、用于水腫的標(biāo)簽2、用于ET的標(biāo)簽4和用于背景的標(biāo)簽0。此外，在訓(xùn)練數(shù)據(jù)中為每個患者 提供生存天數(shù)。對于數(shù)據(jù)分析，由于標(biāo)記的準(zhǔn)確性，我們利用訓(xùn)練數(shù)據(jù)來了解形狀放射組學(xué)特征對患者生存時間的有效性。此 外，該數(shù)據(jù)集中還提供了年齡，腫瘤分級和切除狀態(tài)等臨床信息。對于HGG患者，切除狀態(tài)包括總切除術(shù)（GTR）、次全 切除術(shù)（STR）和NA （不可用）。市場區(qū)隔DKNet4用于腦腫瘤分割任務(wù)，以分割成腫瘤亞區(qū)域，包括水腫，壞死和增強腫瘤。DKNet基于3D U-Net的一種變體, 稱為擴展多光纖網(wǎng)絡(luò)(DMFNet) 18,具有編碼器解碼器

12、架構(gòu)。該模型的優(yōu)點之一是它可以檢測大腦中的小尺寸腫瘤，從而 顯著增強膠質(zhì)瘤中的腫瘤。此外，在保持良好整體性能的同時降低計算本錢和內(nèi)存也是該模型的優(yōu)勢。在3DUNet和該網(wǎng)絡(luò)的 任何變體中，下采樣層的目的是提取特征并擴展感受場,但特征的分辨率可能會大大降低;因此,小物體的特征可能會喪失。DKNet 是具有兩個任務(wù)的多任務(wù)學(xué)習(xí)。第一項任務(wù)是從四種MRI模式中分割腦腫瘤，這些MRI模式具有三段區(qū)域面罩，包括整個腫瘤 (WT),腫瘤核心(TC)和增強腫瘤(ET)。第二項任務(wù)是通過在每個編碼器層之后添加一個上采樣層和一個多光纖單元來 重建額外的特征。第二項任務(wù)仍然是以下各層的關(guān)鍵特征，并最大限度地減少小

13、物體上的信息喪失，特別是在ET上。腫瘤形狀放射組學(xué)特征分析分割后，從訓(xùn)練數(shù)據(jù)中增強腫瘤和整個患者的整個腫瘤中提取形狀放射組學(xué)特征。腫瘤形狀特征在患者的OS預(yù)后中起著 至關(guān)重要的作用。此外，這些特征描述了腫瘤的形狀，幾何形狀和特定外表。所有特征均來源于T1Ce和地面實況，以分析它 們之間的關(guān)系和生存時間。從開源Pyradiomics庫19中提取了 14個形狀特征，它們是網(wǎng)格體積，短軸長度，球形度，外表積，外表體積比，體素 體積，伸長率，平面度，最小軸長度，長軸長度，最大2D直徑列，最大2D直徑行，最大2D直徑切片和最大3D直徑。每個 特征描述腫瘤形狀的特定性質(zhì)。應(yīng)用Cox比例風(fēng)險模型(CoxPH

14、)和Kaplan-Meier (KM)估計相來評估患者形狀特征與生存 時間之間的關(guān)系。Kaplan-Meier (KM)估計器是一種統(tǒng)計方法，用于測量治療后一定時間內(nèi)活體患者的比例。KM生存曲線是在給定時間 內(nèi)存活的概率，同時考慮許多小間隔內(nèi)的時間20。KM估計器由等式(1)計算得出。KM曲線基于KM估計器方法，是比 較不同群體生存函數(shù)隨時間變化的圖。哪里:是至少一名患者死亡的時間點。是死亡的患者人數(shù).是存活至?xí)r間的患者數(shù)量.Cox比例風(fēng)險模型(CoxPH)是一種回歸模型，使用統(tǒng)計方法研究醫(yī)學(xué)領(lǐng)域一個或多個預(yù)測因子與生存時間之間的關(guān)聯(lián)。 CoxPH的目的是評估一個或多個因素對患者生存時間的影響

15、。Cox模型用危險函數(shù)力(0表示21。危險功能力(f)被認(rèn)為是 每個患者在時間f死亡的風(fēng)險。對于給定的預(yù)測因子z向量，CoxPH模型表示如下：哪里：h (flz)：由多個預(yù)測變量z的給定向量確定的危害函數(shù)。：是時間的非特定函數(shù)。：危險比（HR）。HR = 1：預(yù)測因子對生存時間沒有影響，HR1：與風(fēng)險增加或生 存時間減少相關(guān)21?；蛘撸珻oxPH也用累積危害函數(shù)表示如下：哪里是基線累積危險函數(shù)，由尼爾森阿倫估計器通過等式（4）計算得出。哪里是當(dāng)時的死亡人數(shù)和是時間之前活著的病人數(shù)量.基于Breslow估計器，通過公式（5）建立累積危險函數(shù)與生存函數(shù)之間的關(guān)系;因此，累積危害函數(shù)和生存函數(shù)具有相

16、反 的關(guān)系，并且基于CoxPH模型，我們可以評估哪些形狀特征與生存時間顯著相關(guān)。此外，由于HR = 1表示特征對生存時間沒 有影響，因此HR的95%置信區(qū)間（CD也不包括1（空值）。此外，如果p值在CoxPH回歸模型中的值等于或小于0.05, 那么p值被視為顯著的統(tǒng)計量。通過Cox比例風(fēng)險回歸模型和KM曲線評估形狀放射組學(xué)特征與患者生存天數(shù)之間的關(guān)系。首先，每個形狀特征都擬合 到單變量Cox回歸模型中，并通過風(fēng)險比（HR）、95%置信區(qū)間（CI）和p值進行判斷。然后，根據(jù)每個顯著形狀特征的中位 數(shù)將每個特征分為兩組，可以按照KM生存曲線評估每個特征對患者生存時間的影響。3.5.深度特征提取雖然

17、FLAIR是放射科醫(yī)生觀察WT的最正確方式，但ET邊界最好在T1ce中可視化22。因此，CNN架構(gòu)被用于分別從 WT和ET的FLAIR和T1ce模態(tài)中提取高級特征。首先，將MRI模態(tài)裁剪為128x128x128以去除背景體素。之后，在ImageNet 中預(yù)先訓(xùn)練的ResNet18架構(gòu)被應(yīng)用于從MRI模式中提取有意義的信息。ResNet18有四層，每層包含兩個基本塊，其次是兩 個修改的全連接（FC）層，分別具有512, 101個節(jié)點。跳過連接也應(yīng)用于每個卷積層。ResNet18的輸出是患者的生存日。深 層特征是從該網(wǎng)絡(luò)的最后一個FC層中選擇的，其中包含最有意義的特征，以預(yù)測與每種腫瘤相關(guān)的患者的

18、OS天數(shù)。網(wǎng)絡(luò)的詳 細(xì)架構(gòu)如圖4所示。特征選擇技術(shù)對于生存預(yù)測任務(wù)中過度擬合問題的減少至關(guān)重要，并保持與患者生存時間相關(guān)的最有意義 的特征;因此，應(yīng)用隨機森林算法分別從ET和WT中查找9個基本特征中的大多數(shù)。整體生存預(yù)測有6個形狀放射組學(xué)特征和18個提取的深度特征與年齡相結(jié)合，經(jīng)過訓(xùn)練以預(yù)測GBM患者的生存時間。應(yīng)用線性回歸 （LR）、光梯度提升（LightGBM）和多層感知器（MLP）構(gòu)建預(yù)測模型，分別評估各模型對該生存任務(wù)的有效性。訓(xùn)練數(shù)據(jù)集 按80： 20的比例拆分為訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集，以防止過度擬合問題。對于MLP模型，輸出是患者的生存天數(shù)，如上一節(jié) 所述，根據(jù)三個生存組的分類對其

19、進行評估。MLP具有兩個完全連接的（FC）層，隨后是FC層之后的ReLU激活操作。4.結(jié)果4.1.市場區(qū)隔所有285個訓(xùn)練數(shù)據(jù)都用于訓(xùn)練過程。提供66名患者進行驗證。骰子指數(shù)，95豪斯多夫（HD）增強腫瘤（ET）,整 個腫瘤（WT）和腫瘤核心（TC）的距離將通過提交給CBICA的圖像處理門戶來計算。通過此方法獲得的結(jié)果見表1。生存預(yù)測的評估指標(biāo)生存預(yù)測結(jié)果在三個不同的指標(biāo)中評估，包括準(zhǔn)確性、均方誤差（MSE）和SpearmanR指標(biāo)。所有結(jié)果都提交到在 線鏈接進行結(jié)果評估。主要任務(wù)是分類，分為三組：短幸存者（10個月），中型幸存者（210個月和15個月）和長期幸存者（15個月）。精度指標(biāo)按以下

20、公式計算：（6）此外，MSE指標(biāo)顯示了數(shù)據(jù)集中提供的預(yù)測天數(shù)和患者實際生存天數(shù)（基本領(lǐng)實）之間的差異，因為這是監(jiān)督學(xué)習(xí)方法。 MSE值越低，預(yù)測值越好。SpearmanR度量描述了預(yù)測結(jié)果與真實值（GT）之間單調(diào)關(guān)聯(lián)的強度和方向。SpearmanR的值 在-1到+1的范圍內(nèi)。如果SpearmanR值接近1,那么患者生存時間的排名更接近GT的數(shù)量級。MSE和SpearmanR指標(biāo) 由以下公式計算：哪里和分別是預(yù)測的天數(shù)和患者的實際生存日（GT）。（8）其中。是患者總數(shù)，是預(yù)測天數(shù)和GT天數(shù)之間的成對排名差異23。形狀放射組學(xué)特征分析單變量CoxPH回歸模型證明了每種形狀放射組學(xué)特征的重要性，如表

21、2所示。如表所示，整個腫瘤和增強腫瘤的球形度、 外表積和腫瘤的3D最大直徑是OS預(yù)后的重要預(yù)測因子，p值0.05。而且，HR及其95%CI小于1,這意味著球形度值較大 的患者生存時間更長。相反，最大3D直徑和外表積值較小的患者基于HR及其95%CI的生存時間更長。其他一些特征的p值 v 0.05;然而，HR比率及其CI包含一個，因此OS預(yù)測的有效性很差并且沒有方法;因此，其他要素不被視為此任務(wù)的重要預(yù)測 因子。此外，年齡是基于表2中的結(jié)果的生存預(yù)測的重要預(yù)測因子。下面描述了三個最重要的形狀預(yù)測變量的含義：外表積測量3D維度上腫瘤外表的總面積。最大3D直徑是腫瘤外表網(wǎng)格頂點之間最重要的歐氏距離1

22、9。球形度測量腫瘤區(qū)域相對于球體的形狀的圓度19。表2.基于單變量CoxPH模型的影像組學(xué)特征及臨床信息分析.從表2可以看出，三種形狀的放射組學(xué)特征（包括球形度、3D最大直徑和外表積）被認(rèn)為是生存任務(wù)的重要預(yù)測因子。 詳細(xì)地說，從增強腫瘤中提取的選定形狀特征對基于HR的生存時間具有更大的影響。因此，增強腫瘤在生存預(yù)測中起著至關(guān) 重要的作用。為了進行細(xì)節(jié)分析，利用Kaplan-Meier （KM）估計器來評估每個特征與GBM患者生存時間之間的關(guān)系。Kaplan-Meier 估計器是一種非參數(shù)方法，用于測量治療后特定時間的患者比例20。對于實驗，根據(jù)每個選定特征的中值生成兩個患者組。然 后，為兩組

23、患者的兩個選定形狀特征繪制KM曲線。此外，應(yīng)用對數(shù)秩檢驗來比擬基于p值的每個形狀特征的兩組之間的生存 函數(shù)。如果對數(shù)秩檢驗的p值小于0.05,那么兩個組具有統(tǒng)計顯著性，并提到兩個組之間的不同分布。根據(jù)KM曲線和對數(shù)等級 測試，對于ET和WT腫瘤，具有較小外表積，更長的3D最大直徑和較小的球形度比的患者具有更長的生存時間。有關(guān)每個特 征的KM曲線和對數(shù)秩檢驗（p值）的詳細(xì)信息如圖5、圖6和圖7所示。整體生存預(yù)測除了三個重要的形狀特征外，還利用深層特征來具有與ET和WT腫瘤患者的生存時間相關(guān)的高級含義。通過使用 ResNet18證明了 ET和WT的深層特征的有效性。從表3中，使用從ET和WT中選擇

24、的深層特征，與分別使用ET和WT的 深層特征相比，精度和MSE結(jié)果略有提高。之后，結(jié)合選定的形狀特征和年齡，在在線門戶 （2022年2月1日訪問）中評估預(yù)測結(jié) 果。有28名存活時間未知的驗證患者。有三種預(yù)測模型的結(jié)果如表4所示。從表4來看，與其他機器學(xué)習(xí)模型相比，MLP獲得了更好的結(jié)果，后者在準(zhǔn)確性和MSE評估指標(biāo)方面分別到達57.1% 和97, 531.8o與Linh等人2的結(jié)果相比，當(dāng)我們僅使用選定的形狀特征時，MSE指標(biāo)的結(jié)果略有改善，從152, 250.8下降 到99, 482.7,而精度結(jié)果相同;因此，球形度、3D最大直徑和外表積是患者生存預(yù)測的三個重要預(yù)測因子。添加深度特征和 MLP預(yù)測模型可以改善分類和回歸任務(wù)。此外，與表5中BraTS18驗證數(shù)據(jù)集上的其他方法相比，我們的方法在準(zhǔn)確性和MSE指標(biāo)方面分別獲得了 57.1%和97, 531.8的有希望的結(jié)果。.討論本文基于CoxPH和KM生存曲線，有3個重要的預(yù)測因子，包括球形度、外表積和與膠質(zhì)母細(xì)胞瘤患者生存時間相關(guān)的 最大3D直徑。GBM