《數(shù)據(jù)挖掘應(yīng)用》課件-使用Embedded方法進(jìn)行特征篩選

數(shù)據(jù)挖掘應(yīng)用使用Embedded方法進(jìn)行特征篩選本節(jié)以手寫(xiě)數(shù)字圖片識(shí)別的數(shù)據(jù)集(dataset/digits_training.csv)作為基礎(chǔ)數(shù)據(jù)，使用嵌入法進(jìn)行特征選擇，通過(guò)交叉驗(yàn)證的平均性能衡量特征子集的效果。一、任務(wù)描述Embedded方法介紹常用嵌入法技術(shù)CONTENTS二、任務(wù)解析Embedded方法介紹（一）1.Embedded方法即嵌入法，利用機(jī)器學(xué)習(xí)算法和模型進(jìn)行訓(xùn)練，得到各個(gè)特征的權(quán)值系數(shù)，根據(jù)權(quán)值系數(shù)從大到小來(lái)選擇特征。3.嵌入法通過(guò)機(jī)器學(xué)習(xí)的方法來(lái)選擇特征，不通過(guò)不停的篩掉特征來(lái)進(jìn)行訓(xùn)練。2.嵌入法通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練來(lái)確定特征的優(yōu)劣，不是直接從特征的統(tǒng)計(jì)學(xué)指標(biāo)來(lái)確定特征的優(yōu)劣。4.嵌入式特征選擇方法是將特征選擇過(guò)程與學(xué)習(xí)器訓(xùn)練過(guò)程融為一體，兩者在同一個(gè)優(yōu)化過(guò)程中完成，即在學(xué)習(xí)器訓(xùn)練過(guò)程中自動(dòng)完成了特征選擇。

在sklearn中，使用SelectFromModel函數(shù)來(lái)選擇特征。二、任務(wù)解析常用嵌入法技術(shù)（二）基于線性回歸模型方法（理解）基于L1的正則化方法（掌握使用方法、應(yīng)用場(chǎng)景和優(yōu)缺點(diǎn)）線性模型和正則化（Embedded方式）二、任務(wù)解析常用嵌入法技術(shù)（二）Embedded方法在執(zhí)行模型訓(xùn)練時(shí)會(huì)同時(shí)進(jìn)行特征選擇。它將特征選擇過(guò)程與模型訓(xùn)練過(guò)程融合在一起，許多機(jī)器學(xué)習(xí)方法（如決策樹(shù)、支持向量機(jī)和正則化線性模型等）在訓(xùn)練過(guò)程中都自帶了特征選擇的功能?；跇?shù)模型的特征選擇（Embedded方式）基于隨機(jī)森林的嵌入方法二、任務(wù)解析常用嵌入法技術(shù)（二）1.選擇一個(gè)帶有特征選擇功能的模型。這些模型能為每個(gè)特征生成一個(gè)重要性分?jǐn)?shù)。使用Embedded方法進(jìn)行特征篩選的基本步驟：2.訓(xùn)練模型。在訓(xùn)練過(guò)程中，模型會(huì)根據(jù)每個(gè)特征對(duì)模型性能的貢獻(xiàn)來(lái)賦予它們重要性分?jǐn)?shù)。3.根據(jù)模型生成的重要性分?jǐn)?shù)進(jìn)行特征選擇?？梢赃x擇分?jǐn)?shù)高于某個(gè)閾值的特征，或者直接選擇分?jǐn)?shù)最高的特征。二、任務(wù)解析常用嵌入法技術(shù)（二）優(yōu)勢(shì)：它可以考慮特征之間的關(guān)系，因此可能較其他方法更能找到有用的特征。劣勢(shì)：由于它依賴于特定的模型，可能會(huì)有過(guò)擬合的風(fēng)險(xiǎn)，特別是在數(shù)據(jù)集小的情況。不同的模型可能會(huì)給出不同的特征重要性分?jǐn)?shù)，因此在選模型時(shí)，需要綜合考慮模型的預(yù)測(cè)性能和特征選擇的效能。優(yōu)劣勢(shì)使用Embedded方法進(jìn)行特征篩選任務(wù)描述任務(wù)解析任務(wù)實(shí)施任務(wù)拓展01020304四、任務(wù)拓展本節(jié)總結(jié)本節(jié)使用直接指定重要性閾值并形成特征子集、尋求最佳的閾值、應(yīng)用最佳閾值等嵌入法進(jìn)行特征選擇，對(duì)手寫(xiě)圖片數(shù)據(jù)集進(jìn)行特征選擇，通過(guò)交叉驗(yàn)證的平均性能衡量特征子集的效果。四、任務(wù)拓展請(qǐng)調(diào)整案例中

thresholds=np.linspace(0,max_import