《機器學習技術(shù)應(yīng)用》課件-pro2-2-3 模型的持久化與部署

授課教師：項目二經(jīng)典案例：鳶尾花的分類背景描述：基于著名的鳶尾花數(shù)據(jù)集，由RonaldFisher在1936年發(fā)表每個樣本：4個特征：花萼長度（sepallength）花萼寬度（sepalwidth）花瓣長度（petallength）花瓣寬度（petalwidth）1個目標變量（鳶尾花的品種）：山鳶尾（IrisSetosa）變色鳶尾（IrisVersicolour）維吉尼亞鳶尾（IrisVirginica）項目目標：熟練掌握scikit-learn中，基于分類任務(wù)模型的構(gòu)建；熟練掌握scikit-learn中，基于分類任務(wù)模型的優(yōu)化。授課教師：任務(wù)二

基于鳶尾花分類的SVM模型構(gòu)建模塊3:模型的持久化與部署任務(wù)二SVM情景引入

你是誰：數(shù)據(jù)工程師或算法工程師你已經(jīng)做了什么：在Python

環(huán)境下用機器學習框架scikit-learn訓練好了模型，準確度不錯你將要做什么：如何讓你訓練好的模型，快速部署在甲方的環(huán)境中技能點：模型的持久化

模型持久化是指將訓練好的模型保存到磁盤上，以便于后續(xù)的重新加載和使用。Scikit-learn利用Python的pickle模塊來實現(xiàn)模型的序列化。序列化：將對象轉(zhuǎn)換為字節(jié)流的過程，這樣可以將其存儲在文件中或通過網(wǎng)絡(luò)傳輸。反序列化：將字節(jié)流轉(zhuǎn)換回原始對象的過程。重要性：序列化工具：Joblib和Pickle知識點：序列化

數(shù)據(jù)持久化：通過序列化，程序可以將運行時的數(shù)據(jù)保存到磁盤上，以便在下次運行時恢復(fù)。這對于機器學習模型的保存尤為重要，能夠避免重復(fù)訓練，節(jié)省時間和計算資源。想象一下，如果每次使用模型時都需要重新訓練，那將是多么耗時和低效的工作??！通過序列化，我們可以將模型的狀態(tài)保存到磁盤上，隨時讀取，避免重復(fù)勞動。數(shù)據(jù)傳輸：在分布式系統(tǒng)中，序列化使得數(shù)據(jù)能夠在不同的計算節(jié)點之間傳輸。無論是通過網(wǎng)絡(luò)發(fā)送數(shù)據(jù)，還是在不同的進程間共享數(shù)據(jù)，序列化都是必不可少的。比如，當我們需要將模型從一個服務(wù)器傳輸?shù)搅硪粋€服務(wù)器時，序列化可以將模型轉(zhuǎn)換為字節(jié)流，從而方便地進行網(wǎng)絡(luò)傳輸。跨語言支持：序列化后的數(shù)據(jù)可以在不同的編程語言之間共享。例如，Python中的對象可以被序列化為JSON格式，然后在JavaScript中反序列化使用。這種靈活性使得系統(tǒng)的互操作性大大增強，開發(fā)者可以在不同的環(huán)境中輕松共享數(shù)據(jù)。版本控制：在機器學習的迭代過程中，模型會不斷更新和優(yōu)化。通過序列化，我們可以為每個版本的模型創(chuàng)建快照，方便進行版本管理和回溯。這樣一來，我們就可以輕松地比較不同版本的模型，選擇最佳的模型進行部署。（集成學習）技能點：序列話工具：Joblib和PickleJoblibPickle序列化二進制字節(jié)流性能處理大型數(shù)據(jù)處理小型對象并行運算支持，可以將任務(wù)分發(fā)到多個進程中，進一步提升了處理速度。不支持壓縮支持內(nèi)置的壓縮功能，存儲大型數(shù)據(jù)集時更加靈活，能夠有效減少磁盤空間的占用本身不支持壓縮，但可以與其他壓縮庫（如gzip）結(jié)合使用數(shù)據(jù)安全性以二進制格式存儲，雖然這在一定程度上提高了安全性，但并沒有提供額外的安全機制。在安全性方面存在一定的風險，尤其是在反序列化時。應(yīng)用場景機器學習和科學計算等領(lǐng)域一般目的的序列化任務(wù)，尤其是在處理小型對象時技能點：Joblib

importjoblib#假設(shè)clf是你的訓練好的模型clf=...clf.fit(...)#保存模型到磁盤joblib.dump(clf,'model.pkl')#從磁盤加載模型loaded_clf=joblib.load('model.pkl')/view/132.html技能點：Joblib--importjoblib#假設(shè)clf是你的訓練好的模型clf=...clf.fit(...)#保存模型到磁盤job