機(jī)器學(xué)習(xí)及攻擊檢測(cè)

機(jī)器學(xué)習(xí)及攻擊檢測(cè)213

黑名單匹配

開源API接口調(diào)用

疑似為黑的展示在首頁(yè)，判斷為白的放

過，結(jié)果暫存在緩存中機(jī)器學(xué)習(xí)引擎判斷白名單匹配步驟線上RUN評(píng)估模型效果，改進(jìn)訓(xùn)練模型特征工程上線調(diào)用模型定義問題數(shù)據(jù)收集，清洗外部各100萬黑白樣本隨機(jī)域名識(shí)別的二分類問題tfidf提取交叉驗(yàn)證，

線上測(cè)試xgboost

算法

問其是如何分辨這篇文章的主題是“世界杯”還是“娛樂”二分類問題首先，如果小學(xué)生A家里沒網(wǎng)沒電視沒報(bào)紙，那他肯定分辨不出來沒有樣本小學(xué)生A家里新裝了寬帶，但是A骨骼驚奇，將網(wǎng)上的世界杯和娛樂新聞全部轉(zhuǎn)成了漢語拼音,然后得到結(jié)論，a

ba

fade幾個(gè)拼音出現(xiàn)多的就是世界杯

特征提取有問題問題？小學(xué)生A今年7歲。有一天拿到了一篇不帶標(biāo)題的微信文章，請(qǐng)

經(jīng)過老師的指點(diǎn)，A重新改了特征（分詞取漢語關(guān)鍵詞出現(xiàn)頻率），且

大腦總結(jié)了一套算法，先看是否有一次“足球”

，如果有再看有沒有超過2次“梅西”

，如果有就基本95%確定是世界杯新聞了訓(xùn)練并使用了“決策樹”機(jī)器學(xué)

習(xí)算法國(guó)際足聯(lián)/裁判委員會(huì)/主席/科里納/在/總結(jié)/48/場(chǎng)/

小組賽/時(shí)/表示，共用/VAR/查看了/335/次/犯規(guī)，

每場(chǎng)/比賽/接近/7/次/。這些/犯規(guī)/中，在/沒有/VAR/的/情況/下，95%/的/判罰/是/正確/的，但

/VAR/更正/了14/次/判罰，讓/準(zhǔn)確率/提升/到/99.3%。在/今年/金馬獎(jiǎng)/官宣/前,鞏俐/就/已經(jīng)/先后/

出任/過/第/50/屆/戛納/國(guó)際/電影節(jié)/主競(jìng)賽/

單元/評(píng)委/、第/50屆/柏林/國(guó)際/電影節(jié)/主席

/、第/59/屆/威尼斯/國(guó)際/電影節(jié)/主席。

,ngram=2,按字符抽取得到[ct,tr,

ri,ip]計(jì)算ct的詞頻TFTF=ct在[ct,tr,ri,ip]出現(xiàn)的次數(shù)1/數(shù)組長(zhǎng)度4=0.25計(jì)算ct的逆文檔詞頻IDFIDF=log(訓(xùn)練語句總數(shù)/(含ct的語句個(gè)數(shù)+1))=log(10000/11)

TFIDF

=TF

*IDFPrecision:0.933Recall:0.900

F1:

0.916xgboostPrecision:0.973Recall:0.965

F1:

0.969

決策樹說一下為什么3.5%的漏報(bào)率可以接受

http://www.jxskqyy.com/

誤報(bào)

例如一條檢測(cè)sql注入的正則語句如下：String

inj_str="'|and|exec|insert|select|delete|update|count|*|%|chr|mid|master|truncate|char|declare|;|or|-|+|,";新買的selected襯衫臟了!

為什么想到用機(jī)器學(xué)習(xí)來做web攻擊檢測(cè)？pattern:[^\w\s\?\此處保密\!\@\(\'\~]{1,}規(guī)則難以維護(hù)，自己寫的正則自己都讀不懂

為什么想到用機(jī)器學(xué)習(xí)來做web攻擊檢測(cè)？隊(duì)列積壓嚴(yán)重，根本消費(fèi)不完，昨天的攻擊今天還沒檢測(cè)

為什么想到用機(jī)器學(xué)習(xí)來做web攻擊檢測(cè)？

過完白名單的請(qǐng)求，進(jìn)入ML引擎，ML預(yù)測(cè)為黑則繼續(xù)進(jìn)入正則，否則打上ML白色結(jié)果args參數(shù)值不帶英文標(biāo)點(diǎn)和控制字符的請(qǐng)求，全都算白名單，不過任何檢測(cè)引擎

?目的地=北京命中正則規(guī)則超過20次的ip直接進(jìn)正則,進(jìn)入黑名單，緩存1day，此ip之后不過ML引擎，

ML和正則引擎的關(guān)系惡意IP庫(kù)白名單寫腳本ES撈，手工洗，去重，日志盡量多樣化針對(duì)樣本污染問題，使用正則關(guān)鍵字從白樣本里洗掉黑色數(shù)據(jù)

少部分外部白日志內(nèi)網(wǎng)PPOBE日志難點(diǎn)：1.大部分都是酒店機(jī)票的日志2.大部分流量都不帶任何標(biāo)點(diǎn)和特殊字符3.要達(dá)到黑白樣本1:1白日志來源/TrainBooking/Search.aspx?from=shanghai&to=beijing&day=-09-05按args取訓(xùn)練素材，還方便使用網(wǎng)上直接搜集來的POC，因?yàn)椴挥每紤]定制化過擬合

01

GET

,POST分開

取args進(jìn)行建模

02

圖片上傳

，加密數(shù)據(jù)的怎么辦

？正則檢測(cè)不了的，機(jī)器學(xué)習(xí)也不能強(qiáng)求

多層防御，用其他方式來解決

03

漏報(bào)了怎么辦

04

誤報(bào)了怎么辦

誤報(bào)的影響不大，直接交給正則，不同于WAF的使用場(chǎng)景

使用HMM做異常檢測(cè)

世界杯開始前，C羅狀態(tài)好的概率為90%......C羅狀態(tài)好，葡萄牙贏球概率為90%......C羅這一場(chǎng)狀態(tài)好，下一場(chǎng)狀態(tài)好的概率為85%....問葡萄牙世界杯開始3連跪的概率是多少

某參數(shù)正常的張這樣，問題：來一個(gè)請(qǐng)求，判斷是否是異常的ark_bus_vivo|12308ark_bus_xiaomi|12308ark_android_jpskb|TY

首先做泛型：ark_bus_hicloud|ky12308

字母->

ord(A)

數(shù)字->

ord('N')

中文->

ord('C')

其他->取其ASCII碼

樣本收集最好做到分散：從不同的源ip收集，避免單個(gè)ip貢獻(xiàn)過多樣