《大數(shù)據(jù)導論》課件-3.4.1Filebeat簡介

大數(shù)據(jù)導論數(shù)

據(jù)

采

集Filebeat介紹目錄01Filebeat介紹

02Filebeat組成

03工作原理04filebeat.yml文件配置05啟動FilebeatFilebeat簡介Filebeat是本地文件的日志數(shù)據(jù)采集器，作為服務器上的代理安裝，監(jiān)視日志目錄或特定日志文件，并將它們轉(zhuǎn)發(fā)給Elasticsearch或Logstash、kafka等Filebeat是一個輕量級日志傳輸Agent，占用資源少，而且安裝配置也比較簡單，支持目前各類主流操作系統(tǒng)及Docker平臺。Filebeat包含兩個部分：Inputs和Harversters。Inputs：負責管理harvesters和發(fā)現(xiàn)可讀的資源。Harverster：負責讀取日志文件，一行一行的讀，并將讀到的內(nèi)容發(fā)送到輸出管道，一個Harverster對應了一個日志文件。Filebeat組成部分工作原理Filebeat主要通過配置文件filebeat.yml中設(shè)置的參數(shù)來實現(xiàn)控制輸入與輸出。1、將日志文件作為filebeat的輸入或者通過inputs配置日志文件的路徑2、filebeat啟動harversters，讀取相關(guān)的日志文件，提取相應的數(shù)據(jù)3、經(jīng)由緩存區(qū)，輸出到配置文件中的output配置的輸出端，如logstash。1.log2.log3.logharversters1harversters2harversters3input1緩存區(qū)LogstashFilebeatfilebeat.yml文件配置filebeat的如何工作運行，依賴于filebeat.yml配置文件的參數(shù)文件路徑：filebeat安裝根目錄/filebeat.yml涉及輸入輸出的filebeat配置項有兩個：采集配置輸出配置InputOutputfilebeat.yml文件配置inputs采集配置常用配置type:指定input類型，有l(wèi)og、stdin、redis、tcp、syslog等fields：可以自定義添加字段，到output中去，后續(xù)可以使用這些字段paths：日志文件的目錄filebeat.yml文件配置Outputs輸出配置filebeat支持輸出到多種輸出端1、ElasticsearchOutput：輸出到es里。2、LogstashOutput：輸出到logstash里。3、RedisOutput：輸出到redis里。4、FileOutput：輸出到file里。5、ConsoleOutput：輸出到console里。由于不同的輸出配置參數(shù)不一樣，因此官網(wǎng)提供了默認配置文件，找到對應的Filebeat版本，找到Configure-->output-->輸出端啟動filebeat配置好filebeat.yml文件后運行命令：./