IT運(yùn)維分析與海量日志搜索

1、Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司提綱IT 運(yùn)維分析（IT Operation Analytics）日志的應(yīng)用場(chǎng)景過(guò)去及現(xiàn)在的做法日志搜索引擎日志易產(chǎn)品介紹Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司IT 運(yùn)維分析 從 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) 大數(shù)據(jù)技術(shù)應(yīng)用于IT運(yùn)維，通過(guò)數(shù)據(jù)分析提升IT運(yùn)維效率 可用性監(jiān)控 應(yīng)用性能監(jiān)控 故障根源分析 安全審計(jì) Gartner估計(jì)，到2017年15%的大企業(yè)會(huì)積極使用ITOA；而在2014年這一數(shù)字只有5%Copyright

2、 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 的四種數(shù)據(jù)來(lái)源 機(jī)器數(shù)據(jù)（Machine Data） 日志 通信數(shù)據(jù)（Wire Data） 網(wǎng)絡(luò)抓包，流量分析 代理數(shù)據(jù)（Agent Data） 在 .NET/Java 字節(jié)碼里插入代碼，統(tǒng)計(jì)函數(shù)調(diào)用、堆棧使用 探針數(shù)據(jù)（Probe Data） 在各地模擬ICMP ping、HTTP GET請(qǐng)求，對(duì)系統(tǒng)進(jìn)行檢測(cè)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 四種數(shù)據(jù)來(lái)源使用占比86%93%47%72%0%10%20%30%40%50%60%70%80%90%100%machine data（日志） wire data（網(wǎng)絡(luò)抓包）

3、agent data（插入代碼）probe data（模擬檢測(cè)）Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司ITOA 四種數(shù)據(jù)來(lái)源的比較 機(jī)器數(shù)據(jù)（日志） 日志無(wú)所不在 但不同應(yīng)用輸出的日志內(nèi)容的完整性、可用性不同 通信數(shù)據(jù)（網(wǎng)絡(luò)抓包） 網(wǎng)絡(luò)流量信息全面 但一些事件未必觸發(fā)網(wǎng)絡(luò)流量 代理數(shù)據(jù)（嵌入代碼） 代碼級(jí)精細(xì)監(jiān)控 但侵入性，會(huì)帶來(lái)安全、穩(wěn)定、性能問(wèn)題 探針數(shù)據(jù)（模擬用戶請(qǐng)求） 端到端監(jiān)控 但不是真實(shí)用戶度量（Real User Measurement）Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志，我們重要的數(shù)據(jù)資產(chǎn)行為日志網(wǎng)絡(luò)日志交易日志應(yīng)用及系統(tǒng)日志IT系統(tǒng)

4、（服務(wù)器、網(wǎng)絡(luò)設(shè)備）每天都產(chǎn)生大量的日志，包含了各種設(shè)備、系統(tǒng)、應(yīng)用、用戶信息Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志：時(shí)間序列機(jī)器數(shù)據(jù) 帶時(shí)間戳的機(jī)器數(shù)據(jù) IT 系統(tǒng)信息 服務(wù)器 網(wǎng)絡(luò)設(shè)備 操作系統(tǒng) 應(yīng)用軟件 用戶信息 用戶行為 業(yè)務(wù)信息 日志反映的是事實(shí)數(shù)據(jù) “The Log: What every software engineer should know about real-time datas unifying abstraction”, Jay Kreps, LinkedIn engineer 深度解析LinkedIn大數(shù)據(jù)平臺(tái)（http:/ 2015 北京優(yōu)

5、特捷信息技術(shù)有限公司一條 Apache Access 日志43 - - 15/Apr/2015:00:27:19 +0800 “POST /report HTTP/1.1” 200 21 “https:/ “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0” “74” 0.005 0.001字段：- Client IP: 43- Timestamp: 15/Apr/2015:00:27:19 +0800- Method: POS

6、T- URI: /report- Version: HTTP/1.1- Status: 200- Bytes: 21- Referrer: https:/ User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) Gecko/20100101 Firefox/37.0- X-Forward: 74- Request_time: 0.005- Upstream_request_time:0.001Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志的應(yīng)用場(chǎng)景 運(yùn)維監(jiān)控 可用性監(jiān)控 應(yīng)用性能監(jiān)控 (APM) 安全審

7、計(jì) 安全信息事件管理 (SIEM) 合規(guī)審計(jì) 發(fā)現(xiàn)高級(jí)持續(xù)威脅 (APT) 用戶及業(yè)務(wù)統(tǒng)計(jì)分析Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司過(guò)去 日志沒(méi)有集中處理 登陸每一臺(tái)服務(wù)器，使用腳本命令或程序查看 日志被刪除 磁盤(pán)滿了刪日志 黑客刪除日志，抹除入侵痕跡 日志只做事后追查 沒(méi)有實(shí)時(shí)監(jiān)控、分析 使用數(shù)據(jù)庫(kù)存儲(chǔ)日志 無(wú)法適應(yīng)TB級(jí)海量日志 數(shù)據(jù)庫(kù)的schema無(wú)法適應(yīng)千變?nèi)f化的日志格式 無(wú)法提供全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司近年 Hadoop 批處理，不夠及時(shí) 查詢慢 數(shù)據(jù)離線挖掘，無(wú)法做 OLAP (On Line Analytic Proces

8、sing) Storm/Spark Hadoop/Storm/Spark都只是一個(gè)開(kāi)發(fā)框架，不是拿來(lái)即用的產(chǎn)品 NoSQL 不支持全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司現(xiàn)在 對(duì)日志實(shí)時(shí)搜索、分析 日志實(shí)時(shí)搜索分析引擎 快 日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒的延時(shí) 大 每天處理 TB 級(jí)的日志量 靈活 Google for IT， 可搜索、分析任何日志 Fast Big DataCopyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志3.0：實(shí)時(shí)搜索引擎 需要開(kāi)發(fā)成本 批處理，實(shí)時(shí)性差 不支持全文檢索 固定的schema無(wú)法適應(yīng) 任意日志格式 無(wú)法處理大數(shù)據(jù)量日志2

9、.0：Hadoop 或 NoSQL日志1.0：數(shù)據(jù)庫(kù)日志管理系統(tǒng)的進(jìn)化 實(shí)時(shí) 靈活 全文檢索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易亮點(diǎn) 可編程的日志實(shí)時(shí)搜索分析平臺(tái) 搜索處理語(yǔ)言 （Search Processing Language, SPL） SPL命令用管道符（“|”）串接成腳本程序 在搜索框里寫(xiě) SPL 腳本，完成復(fù)雜的查詢、分析 可接入各種來(lái)源的數(shù)據(jù) 日志文件 數(shù)據(jù)庫(kù) 恒生電子交易系統(tǒng)二進(jìn)制日志 企業(yè)部署版 SaaS 版 每天500MB日志處理免費(fèi)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司Schema on Write vs. Schema on

10、 Read Schema on Write 索引時(shí)（入庫(kù)前）抽取字段，對(duì)日志做結(jié)構(gòu)化 檢索速度快 但不夠靈活，必須預(yù)先知道日志格式 Schema on Read 檢索時(shí)（入庫(kù)后）抽取字段，對(duì)日志結(jié)構(gòu)化 靈活，檢索時(shí)根據(jù)需要抽取字段 但檢索速度受影響 日志易同時(shí)支持 Schema on Write 和 Schema on Read 日志易實(shí)現(xiàn)機(jī)制 由用戶選擇需要的策略Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易功能 搜索 告警 統(tǒng)計(jì) 事務(wù)關(guān)聯(lián) 配置解析規(guī)則，識(shí)別任何日志 把日志從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù) 安全攻擊自動(dòng)識(shí)別 開(kāi)放API，對(duì)接第三方系統(tǒng) 高性能、可擴(kuò)展分布式架構(gòu)

11、 索引性能：100萬(wàn) EPS (Event Per Second)，20TB/天 檢索性能：60秒內(nèi)檢索1000億條日志Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司 日志易分析事件優(yōu)勢(shì)完備的全量日志管理日志分析的關(guān)鍵在于其完備性。日志易能夠完整保存長(zhǎng)周期、大容量的日志數(shù)據(jù)，為后期的分析提供了基礎(chǔ)細(xì)粒度的數(shù)據(jù)分析日志的格式、內(nèi)容五花八門(mén)，對(duì)其分析的方式方法更是如此。日志易提供了靈活、高效的數(shù)據(jù)分析語(yǔ)句，能夠幫助用戶從容的進(jìn)行細(xì)粒度的數(shù)據(jù)分析 秒級(jí)回饋分析人員的任何一個(gè)想法、一個(gè)線索、一個(gè)疑點(diǎn)，都可以在幾十甚至幾秒的時(shí)間內(nèi)得到驗(yàn)證，極大的提高了數(shù)據(jù)分析的效率可視化統(tǒng)計(jì)分析人員通過(guò)幾下鼠

12、標(biāo)點(diǎn)擊，即可快速完成諸如計(jì)數(shù)、時(shí)間段、數(shù)值分布、百分比、多級(jí)匯總、地理分布等統(tǒng)計(jì)操作，并通過(guò)最適合的圖表進(jìn)行呈現(xiàn)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：某大型綜合金融機(jī)構(gòu) 使用日志易之前 逐臺(tái)登陸服務(wù)器，無(wú)法集中查看日志，無(wú)法對(duì)海量數(shù)據(jù)進(jìn)行挖掘、用戶行為分析 日志查詢方式比較原始，只能 less、grep 和 awk 等常見(jiàn)的 Linux 指令，無(wú)法多維度查詢（時(shí)間段、關(guān)鍵字、字段值） 無(wú)法進(jìn)行日志的業(yè)務(wù)邏輯分析和告警 使用日志易之后，接入160多個(gè)應(yīng)用的日志，10TB/天 省去登陸服務(wù)器的操作，快速，降低人為登陸服務(wù)器誤操作引發(fā)生產(chǎn)故障 查詢條件多維度，提升定位異常

13、原因的效率 可以對(duì)日志數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、用戶行為分析并產(chǎn)生相應(yīng)的報(bào)表，同時(shí)還可以針對(duì)應(yīng)用系統(tǒng)健康指數(shù)提前告警，而不是事后補(bǔ)漏Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：中移動(dòng)某省分公司 使用場(chǎng)景和解決的問(wèn)題 分析營(yíng)業(yè)廳業(yè)務(wù)辦理日志 聚合出每個(gè)營(yíng)業(yè)員每項(xiàng)業(yè)務(wù)的詳細(xì)操作步驟，對(duì)每個(gè)步驟操作時(shí)長(zhǎng)進(jìn)行告警、統(tǒng)計(jì)分析 Search Processing Language 范例json.url:“/charge/business.action?BMEBusiness=charge.charge&_cntRecTimeFlag=true”|transactionapache.dimen

14、sions.cookie_CURRENT_MENUIDstartswith=eval(json.action:“查詢”×tamp30m)endswith=json.action:提交1.先通過(guò)url過(guò)濾出所有繳費(fèi)業(yè)務(wù)日志2.通過(guò)menuid進(jìn)行分組聚合3.將“查詢”動(dòng)作作為步驟起點(diǎn)4.默認(rèn)30分鐘內(nèi)營(yíng)業(yè)員處理完一筆完整業(yè)務(wù)5.將“提交”動(dòng)作作為步驟結(jié)束Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶案例：中移動(dòng)某省分公司一筆繳費(fèi)業(yè)務(wù)營(yíng)業(yè)員所有操作步驟一目了然每個(gè)步驟所需要的執(zhí)行時(shí)間按步驟順序排列網(wǎng)絡(luò)處理時(shí)間，服務(wù)器處理時(shí)間按步驟順序排列Copyright 2015 北京優(yōu)

15、特捷信息技術(shù)有限公司客戶案例：國(guó)家電網(wǎng) 安全信息與事件管理 終端信息安全事件日志的調(diào)查、分析、取證 在各省分公司信息安全事件現(xiàn)場(chǎng)使用 快速排查事件日志保留的證據(jù)，為事件取證提供支持Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司客戶Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：總覽Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：日志結(jié)構(gòu)化Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：字段抽取、統(tǒng)計(jì)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：搜索Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：統(tǒng)計(jì)Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：告警Copyright 2015 北京優(yōu)特捷信息技術(shù)有限公司日志易介紹：儀表盤(pán)Copyright