《改進(jìn)Softmax回歸信用評(píng)估算法設(shè)計(jì)》3800字

改進(jìn)Softmax回歸信用評(píng)估算法設(shè)計(jì)綜述1.1征信評(píng)估Softmax回歸算法設(shè)計(jì)本模型設(shè)計(jì)的目的是通過(guò)電網(wǎng)物資供應(yīng)鏈類企業(yè)的相關(guān)信用信息，將企業(yè)的信用等級(jí)分為A、B、C、D等4個(gè)類別，采用的算法是Softmax回歸算法。Softmax回歸模型是Logistic回歸模型在多分類問(wèn)題上的推廣，Logistic回歸主要是針對(duì)二分類問(wèn)題，在個(gè)人信貸等信用評(píng)價(jià)領(lǐng)域已有較多應(yīng)用。而Softmax回歸算法能夠在征信評(píng)估多分類領(lǐng)域發(fā)揮作用，較為適合建立信用評(píng)價(jià)模型。針對(duì)本文設(shè)計(jì)的征信評(píng)估機(jī)制，具體設(shè)計(jì)4分類Softmax回歸模型。在該信用評(píng)估模型中，包括數(shù)據(jù)集和Softmax回歸算法，將數(shù)據(jù)集中的一部分作為訓(xùn)練集，通過(guò)Softmax回歸算法進(jìn)行不斷的迭代訓(xùn)練，最終得到一個(gè)權(quán)重矩陣，以判斷各指標(biāo)對(duì)分類結(jié)果的影響。Softmax回歸模型工作的具體流程如下：1）獲取數(shù)據(jù)集，數(shù)據(jù)集的參數(shù)包括24個(gè)針對(duì)電網(wǎng)物資供應(yīng)鏈企業(yè)的信用評(píng)價(jià)指標(biāo)，和一個(gè)已存在的信用評(píng)價(jià)結(jié)果。在數(shù)據(jù)源的處理過(guò)程中，按照7：3的比例劃分訓(xùn)練集和測(cè)試集，前者作為訓(xùn)練模型時(shí)的輸入，后者作為測(cè)試模型時(shí)的輸入。2）數(shù)據(jù)預(yù)處理，將數(shù)據(jù)集以矩陣的形式進(jìn)行存儲(chǔ)，初始數(shù)據(jù)矩陣共有N行24列，記為DataN×24，其中N為訓(xùn)練集信息的條數(shù)，24為信用評(píng)價(jià)指標(biāo)數(shù)。同時(shí)，設(shè)置數(shù)組每行信用記錄對(duì)應(yīng)的信用類別，記為L(zhǎng)abelN,3）初始化權(quán)重矩陣，征信評(píng)估權(quán)重矩陣共有24行4列，表示各個(gè)評(píng)價(jià)指標(biāo)對(duì)評(píng)價(jià)結(jié)果的影響大小，記為Weig?t24×44）通過(guò)矩陣乘法，將DataN×24矩陣與Weig?t24×4矩陣相乘，得到一個(gè)N行4列的新矩陣5）使用Softmax函數(shù)對(duì)每行數(shù)據(jù)進(jìn)行歸一化處理，更新后的新矩陣SoftmaxN×4SoftmaxMatrix6）根據(jù)更新后的SoftmaxN×4矩陣和LabelN數(shù)組，計(jì)算交叉熵?fù)p失函數(shù)，生成一個(gè)N行4列的損失矩陣LossLoss注：當(dāng)j=Labeli時(shí)，yj=1，否則7）利用梯度下降法對(duì)損失函數(shù)進(jìn)行優(yōu)化分解，得到損失函數(shù)在參數(shù)方向的梯度?Loss?8）按照一定的學(xué)習(xí)率，更新權(quán)重矩陣。new_Weig?t=Weig?t注：yi為一維0-1矩陣，當(dāng)j=Labeli時(shí)，yi,j=1，否則y9）重復(fù)步驟4）-8），直到模型收斂。通過(guò)上述步驟，可以在訓(xùn)練結(jié)束后，得到weight權(quán)重矩陣，能夠較為準(zhǔn)確的顯示每項(xiàng)指標(biāo)對(duì)信用評(píng)價(jià)結(jié)果的影響大小。將測(cè)試數(shù)據(jù)X1，X21.2Softmax回歸算法改進(jìn)在針對(duì)電網(wǎng)物資供應(yīng)鏈類企業(yè)的信用評(píng)估算法中，本文采用了Softmax回歸算法對(duì)企業(yè)信用進(jìn)行分級(jí)。但是由于Softmax歸一化函數(shù)在進(jìn)行指數(shù)運(yùn)算時(shí)易產(chǎn)生溢出問(wèn)題，以及Softmax損失函數(shù)并不鼓勵(lì)增大類內(nèi)緊湊性和類間分離性，在對(duì)企業(yè)信用進(jìn)行分類的過(guò)程中可能無(wú)法得到期待的準(zhǔn)確度。因此，本文對(duì)Softmax回歸算法的歸一化函數(shù)和損失函數(shù)進(jìn)行一定的改進(jìn)，以適應(yīng)征信評(píng)估模型的需求。1）Softmax歸一化函數(shù)改進(jìn)歸一化函數(shù)將數(shù)據(jù)從實(shí)數(shù)范圍統(tǒng)一映射到[0,1]區(qū)間上，目的是使數(shù)據(jù)有較強(qiáng)的可比性。常見(jiàn)的歸一化方法有min-max標(biāo)準(zhǔn)化、log函數(shù)轉(zhuǎn)換、正反切函數(shù)轉(zhuǎn)換。在神經(jīng)網(wǎng)絡(luò)多分類最常使用的是Softmax歸一化函數(shù)，平衡概率分布，同時(shí)避免出現(xiàn)概率為0的情況。Softmax歸一化函數(shù)如式（1）所示，將參加歸一化函數(shù)的指標(biāo)通過(guò)指數(shù)函數(shù)映射，分母將映射后的所有結(jié)果進(jìn)行加法運(yùn)算。f為輸入的數(shù)組，在本文的評(píng)估模型中便是指DataN×24矩陣與Weig?t24×4矩陣相乘得到的Softmaxf在（1）式計(jì)算過(guò)程中，考慮到指數(shù)函數(shù)的增長(zhǎng)特性易產(chǎn)生極大的數(shù)值，這些極大值之間進(jìn)行除法，容易產(chǎn)生溢出操作，超出計(jì)算機(jī)Double類型存儲(chǔ)限制，故將公式進(jìn)行如下變換：Softmaxf在（2）式的推導(dǎo)過(guò)程中，可看出在Softmax的在進(jìn)行指數(shù)的映射過(guò)程中進(jìn)行常數(shù)級(jí)的加減法運(yùn)算并不會(huì)改變最后的歸一化運(yùn)算結(jié)果，故在運(yùn)算中，減去輸入信號(hào)的最大值，進(jìn)行溢出抑制。最終采用的公式是Softmaxf2）Softmax損失函數(shù)改進(jìn)損失函數(shù)是用來(lái)評(píng)估模型預(yù)測(cè)的結(jié)果與真實(shí)的結(jié)果相差的距離，也被稱為代價(jià)函數(shù)，在該征信評(píng)估模型中，迭代訓(xùn)練的過(guò)程就是對(duì)損失函數(shù)最小化的過(guò)程，損失函數(shù)越小，證明模型的預(yù)測(cè)值與真實(shí)值之間差距越小，模型的魯棒性也就越好。在模型的設(shè)計(jì)過(guò)程中，采用的損失函數(shù)是交叉熵?fù)p失函數(shù)，用于預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽之間的迫近程度，交叉熵?fù)p失僅與真實(shí)類別對(duì)應(yīng)的概率有關(guān)，易于計(jì)算梯度。不過(guò)，為了增強(qiáng)分類的準(zhǔn)確性和特征的分辨能力，引入新的代價(jià)計(jì)算方法——中心損失（centerloss）函數(shù)，結(jié)合交叉熵?fù)p失函數(shù)和中心損失函數(shù)提高征信評(píng)估模型的準(zhǔn)確度。式（3）為中心損失函數(shù)的公式，其中xi為第i個(gè)樣本，cyiLc中心損失函數(shù)的原理通過(guò)對(duì)訓(xùn)練集的每個(gè)類別在特征空間分別維護(hù)一個(gè)類中心c，在訓(xùn)練過(guò)程，通過(guò)中心損失函數(shù)使樣本的訓(xùn)練結(jié)果不斷接近于類別的特征空間類中心，增強(qiáng)類別的內(nèi)聚性。關(guān)于Lc?L特征中心c的更新公式如下所示，δyi=j在條件滿足時(shí)為1，否則為0，即僅當(dāng)yi與?cj在本文征信評(píng)估機(jī)制采用的Softmax回歸模型中，將交叉熵?fù)p失函數(shù)和中心損失函數(shù)結(jié)合起來(lái)，改進(jìn)后的損失函數(shù)為式（6），β用于控制兩個(gè)損失函數(shù)之間的比重。Loss=L該損失函數(shù)是利用交叉熵?fù)p失（Ls）來(lái)分開(kāi)不同類別，利用中心損失（L1.3征信評(píng)估模型性能評(píng)價(jià)指標(biāo)在Softmax信用評(píng)價(jià)模型建立完畢后，需要選取恰當(dāng)?shù)姆椒▉?lái)評(píng)價(jià)模型的準(zhǔn)確性。本文具體選擇準(zhǔn)確率，精準(zhǔn)度，召回率，F(xiàn)1得分等分類算法常用指標(biāo)進(jìn)行模型分析。首先建立基于測(cè)試樣本的混淆矩陣。模型的評(píng)價(jià)指標(biāo)是在混淆矩陣的基礎(chǔ)上計(jì)算出來(lái)的。下圖為4分類混淆矩陣，其中aij表示預(yù)測(cè)值為第j類，真實(shí)值為第i類的樣本數(shù)量,表3-3混淆矩陣混淆矩陣預(yù)測(cè)值類別1類別2類別3類別4真實(shí)值類別1aaaa類別2aaaa類別3aaaa類別4aaaa在多分類模型中，評(píng)估模型的常用指標(biāo)有準(zhǔn)確率（accuracy），精準(zhǔn)度（precision），召回率（recall），F(xiàn)1得分（F1_score）,及調(diào)整F1得分（F1_weighted）。根據(jù)生成的混淆矩陣，可進(jìn)行如下計(jì)算：多分類模型的準(zhǔn)確率（accuracy）是描述模型判斷正確的總比例，其定義為accuracy=ｆ分類模型中，若指定了第ｉ類，可將其它看作正類，將其他f-１類合并成負(fù)類，轉(zhuǎn)化成一個(gè)二分類模型，下面是precisioni，recallprecisionrecallF1Score調(diào)整F1得分（F1_weighted）是這些F1ScoreiF1Weig?ted=上述五個(gè)指標(biāo)中準(zhǔn)確率（accuracy）和調(diào)整F1得分（F1_weighted）能夠較為整體地反映評(píng)估模型的評(píng)估水平，而精準(zhǔn)度（precision），召回率（recall），F(xiàn)1得分（F1_score）三個(gè)指標(biāo)不能反映整體情況，而是更偏向于對(duì)第i類別的評(píng)價(jià)。根據(jù)測(cè)試結(jié)果在上述各項(xiàng)指標(biāo)的得分情況，可以相對(duì)客觀地評(píng)價(jià)模型的性能，在上述幾個(gè)指標(biāo)上的得分越高，模型的性能便會(huì)更好。除此之外，為了更加直觀地顯示征信評(píng)估模型的效果，也采用ROC曲線進(jìn)行模型性能評(píng)價(jià)。ROC曲線多用于二分類的評(píng)價(jià)中，能夠評(píng)價(jià)模型特異性與敏感性之間的關(guān)系，在對(duì)四分類Softmax回歸模型的評(píng)價(jià)中，要進(jìn)行適應(yīng)性改進(jìn)。改進(jìn)方法即為將A、B、C、D中某一類看作正類，其它三類看作負(fù)類，進(jìn)行四次ROC曲線的計(jì)算，將四分類問(wèn)題轉(zhuǎn)化為4個(gè)二分類問(wèn)題。在ROC曲線的建立過(guò)程中，需要計(jì)算兩個(gè)指標(biāo)TPR（TruePositiveRate）與FPR（FalseP