使用cat命令轉(zhuǎn)儲(chǔ)文件的內(nèi)容

主講：朱佳目錄0102Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介使用-cat命令轉(zhuǎn)儲(chǔ)文件的內(nèi)容Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介1Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介在初始化填充集群時(shí)，通常需要將大量的數(shù)據(jù)移動(dòng)到集群中。后續(xù)，有時(shí)需要將大量數(shù)據(jù)移入和移出集群。所以，我們需要三種數(shù)據(jù)傳輸工具：大批量（bulk）、批處理和流。Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介■Hadoop內(nèi)建的數(shù)據(jù)移動(dòng)工具:HDFS有幾個(gè)內(nèi)置命令可以在本地文件系統(tǒng)和HDFS及兩個(gè)HDFS目錄之間，甚至兩個(gè)Hadoop集群之間復(fù)制和移動(dòng)數(shù)據(jù)。■.大批量(bulk)數(shù)據(jù)加載工具:DistCp是Hadoop附帶的大批量(bulk)數(shù)據(jù)加載工具，它提供了Hadoop集群間的數(shù)據(jù)傳輸能力。Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介■將數(shù)據(jù)導(dǎo)入及導(dǎo)出關(guān)系型數(shù)據(jù)庫的工具:ApacheSqoop允許輕松地從或向各種常用關(guān)系型數(shù)據(jù)庫導(dǎo)出和導(dǎo)入數(shù)據(jù)。■用于處理流式數(shù)據(jù)的工具:ApacheFlume是一種常用的事件(event)數(shù)據(jù)傳輸系統(tǒng)，它使用推送(push)模式將流式數(shù)據(jù)(如Web服務(wù)器日志)寫入HDFS。Hadoop數(shù)據(jù)傳輸工具簡(jiǎn)介ApacheKafka是一個(gè)候選的流式數(shù)據(jù)遷移工具,它使用發(fā)布-訂閱消息傳遞機(jī)制。ApacheStorm是另一個(gè)有效的事件(event)流式處理工具，它會(huì)在合理的時(shí)間范圍內(nèi)響應(yīng)各個(gè)事件。如果你的目標(biāo)是從平面文件(flatfile)或半結(jié)構(gòu)化/非結(jié)構(gòu)化文件加載數(shù)據(jù)，則可以簡(jiǎn)單地使用HDFSshell命令或Hadoop的DistCp工具。使用-cat命令轉(zhuǎn)儲(chǔ)文件的內(nèi)容2使用-cat命令轉(zhuǎn)儲(chǔ)文件的內(nèi)容使用HDFS命令將數(shù)據(jù)加載到HDFS是將數(shù)據(jù)從本地文件系統(tǒng)移動(dòng)到HDFS的最簡(jiǎn)單方式。-cat命令會(huì)將源路徑的文件內(nèi)容輸出到stdout。該命令讀取源文件并顯示內(nèi)容。當(dāng)想要查看腳本或輸出文件的內(nèi)容時(shí),使用此命令非常方便，其與Linux的cat命令類似。這里有幾個(gè)例子:hadoopfs-cathdfs:///f