Hadoop常見的45個(gè)面試題7頁

1、Hadoop科普文常見的45個(gè)問題解答 Hadoophadoop工作linux1.Hadoop集群可以運(yùn)行的3個(gè)模式 單機(jī)（本地）模式 偽分布式模式 全分布式模式2.單機(jī)（本地）模式中的注意點(diǎn)？在單機(jī)模式（standalone）中不會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè)JVM上。這里同樣沒有DFS，使用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce程序，這也是最少使用的一個(gè)模式。3.偽分布模式中的注意點(diǎn)？偽分布式（Pseudo）適用于開發(fā)和測(cè)試環(huán)境，在這個(gè)模式中，所有守護(hù)進(jìn)程都在同一臺(tái)機(jī)器上運(yùn)行。4.VM是否可以稱為Pseudo？不是，兩個(gè)事物，同時(shí)Pseudo只針對(duì)Hadoo

2、p。5.全分布模式又有什么注意點(diǎn)？全分布模式通常被用于生產(chǎn)環(huán)境，這里我們使用N臺(tái)主機(jī)組成一個(gè)Hadoop集群，Hadoop守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上。這里會(huì)存在Namenode運(yùn)行的主機(jī)，Datanode運(yùn)行的主機(jī)，以及task tracker運(yùn)行的主機(jī)。在分布式環(huán)境下，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。6.Hadoop是否遵循UNIX模式？是的，在UNIX用例下，Hadoop還擁有“conf”目錄。7.Hadoop安裝在什么目錄下？Cloudera和Apache使用相同的目錄結(jié)構(gòu)，Hadoop被安裝在cd/usr/lib/hadoop-0.20/。8.Namenode、Job tracker和task

3、tracker的端口號(hào)是？Namenode，70；Job tracker，30；Task tracker，60。9.Hadoop的核心配置是什么？Hadoop的核心配置通過兩個(gè)xml文件來完成：1，hadoop-default.xml；2，hadoop-site.xml。這些文件都使用xml格式，因此每個(gè)xml中都有一些屬性，包括名稱和值，但是當(dāng)下這些文件都已不復(fù)存在。10.那當(dāng)下又該如何配置？Hadoop現(xiàn)在擁有3個(gè)配置文件：1，core-site.xml；2，hdfs-site.xml；3，mapred-site.xml。這些文件都保存在conf/子目錄下。11.RAM的溢出因子是？溢出因

4、子（Spill factor）是臨時(shí)文件中儲(chǔ)存文件的大小，也就是Hadoop-temp目錄。12.fs.mapr.working.dir只是單一的目錄？fs.mapr.working.dir只是一個(gè)目錄。13.hdfs-site.xml的3個(gè)主要屬性？ .dir決定的是元數(shù)據(jù)存儲(chǔ)的路徑以及DFS的存儲(chǔ)方式（磁盤或是遠(yuǎn)端） dfs.data.dir決定的是數(shù)據(jù)存儲(chǔ)的路徑 fs.checkpoint.dir用于第二Namenode14.如何退出輸入模式？退出輸入的方式有：1，按ESC；2，鍵入:q（如果你沒有輸入任何當(dāng)下）或者鍵入:wq（如果你已經(jīng)輸入當(dāng)下），并且按下Enter。1

5、5.當(dāng)你輸入hadoopfsck /造成“connection refused java exception”時(shí)，系統(tǒng)究竟發(fā)生了什么？這意味著Namenode沒有運(yùn)行在你的VM之上。16.我們使用Ubuntu及Cloudera，那么我們?cè)撊ツ睦锵螺dHadoop，或者是默認(rèn)就與Ubuntu一起安裝？這個(gè)屬于Hadoop的默認(rèn)配置，你必須從Cloudera或者Edureka的dropbox下載，然后在你的系統(tǒng)上運(yùn)行。當(dāng)然，你也可以自己配置，但是你需要一個(gè)Linux box，Ubuntu或者是Red Hat。在Cloudera網(wǎng)站或者是Edureka的Dropbox中有安裝步驟。17.“jps”命令

6、的用處？這個(gè)命令可以檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作。18.如何重啟Namenode？ 點(diǎn)擊stop-all.sh，再點(diǎn)擊start-all.sh。 鍵入sudo hdfs（Enter），su-hdfs （Enter），/etc/init.d/ha（Enter），及/etc/init.d/hadoop-0.20-namenode start（Enter）。19.Fsck的全名？全名是：File System Check。20.如何檢查Namenode是否正常運(yùn)行？如果要檢查Namenode是否正常工作，使用命令/etc/in

7、it.d/hadoop-0.20-namenode status或者就是簡(jiǎn)單的jps。21.mapred.job.tracker命令的作用？可以讓你知道哪個(gè)節(jié)點(diǎn)是Job Tracker。22./etc /init.d命令的作用是？/etc /init.d說明了守護(hù)進(jìn)程（服務(wù)）的位置或狀態(tài)，其實(shí)是LINUX特性，和Hadoop關(guān)系不大。23.如何在瀏覽器中查找Namenode？如果你確實(shí)需要在瀏覽器中查找Namenode，你不再需要localhost:8021，Namenode的端口號(hào)是50070。24.如何從SU轉(zhuǎn)到Cloudera？從SU轉(zhuǎn)到Cloudera只需要鍵入exit。25.啟動(dòng)和關(guān)

8、閉命令會(huì)用到哪些文件？Slaves及Masters。26.Slaves由什么組成？Slaves由主機(jī)的列表組成，每臺(tái)1行，用于說明數(shù)據(jù)節(jié)點(diǎn)。27.Masters由什么組成？Masters同樣是主機(jī)的列表組成，每臺(tái)一行，用于說明第二Namenode服務(wù)器。28.hadoop-env.sh是用于做什么的？hadoop-env.sh提供了Hadoop中. JAVA_HOME的運(yùn)行環(huán)境。29.Master文件是否提供了多個(gè)入口？是的你可以擁有多個(gè)Master文件接口。30.hadoop-env.sh文件當(dāng)下的位置？hadoop-env.sh現(xiàn)在位于conf。31.在Hadoop_PID_DIR中，PI

9、D代表了什么？PID代表了“Process ID”。32./var/hadoop/pids用于做什么？/var/hadoop/pids用來存儲(chǔ)PID。33.perties文件的作用是？perties被用做“Reporting”，控制Hadoop報(bào)告，初始狀態(tài)是“not to report”。34.Hadoop需求什么樣的網(wǎng)絡(luò)？Hadoop核心使用Shell（SSH）來驅(qū)動(dòng)從節(jié)點(diǎn)上的服務(wù)器進(jìn)程，并在主節(jié)點(diǎn)和從節(jié)點(diǎn)之間使用password-less SSH連接。35.全分布式環(huán)境下為什么需求password-less SSH？

10、這主要因?yàn)榧褐型ㄐ胚^于頻繁，Job Tracker需要盡可能快的給Task Tracker發(fā)布任務(wù)。36.這會(huì)導(dǎo)致安全問題嗎？完全不用擔(dān)心。Hadoop集群是完全隔離的，通常情況下無法從互聯(lián)網(wǎng)進(jìn)行操作。與眾不同的配置，因此我們完全不需要在意這種級(jí)別的安全漏洞，比如說通過互聯(lián)網(wǎng)侵入等等。Hadoop為機(jī)器之間的連接提供了一個(gè)相對(duì)安全的方式。37.SSH工作的端口號(hào)是？SSH工作的端口號(hào)是NO.22，當(dāng)然可以通過它來配置，22是默認(rèn)的端口號(hào)。38.SSH中的注意點(diǎn)還包括？SSH只是個(gè)安全的shell通信，可以把它當(dāng)做NO.22上的一種協(xié)議，只需要配置一個(gè)密碼就可以安全的訪問。39.為什么SSH本

11、地主機(jī)需要密碼？在SSH中使用密碼主要是增加安全性，在某些情況下也根本不會(huì)設(shè)置密碼通信。40.如果在SSH中添加key，是否還需要設(shè)置密碼？是的，即使在SSH中添加了key，還是需要設(shè)置密碼。41.假如Namenode中沒有數(shù)據(jù)會(huì)怎么樣？沒有數(shù)據(jù)的Namenode就不能稱之為Namenode，通常情況下，Namenode肯定會(huì)有數(shù)據(jù)。42.當(dāng)Job Tracker宕掉時(shí)，Namenode會(huì)發(fā)生什么？當(dāng)Job Tracker失敗時(shí)，集群仍然可以正常工作，只要Namenode沒問題。43.是客戶端還是Namenode決定輸入的分片？這并不是客戶端決定的，在配置文件中以及決定分片細(xì)則。44.是否可以自行搭建H