【hadoop】impala安裝過(guò)程

1、安裝impala過(guò)程與Hive類似，Impala也可以直接與HDFS和HBase庫(kù)直接交互。只不過(guò)Hive和其它建立在MapReduce上的框架適合需要長(zhǎng)時(shí)間運(yùn)行的批處理任務(wù)。例如那些批量提取，轉(zhuǎn)化，加載（ETL）類型的Job。而Impala主要用于實(shí)時(shí)查詢。install下載 impala，目前最新版本為0.6-1，下載地址。安裝過(guò)程安裝前提：先安裝好hadoop集群以及hive，可以參考我的文章：o 手動(dòng)安裝Cloudera Hadoop CDH4.2 o 手動(dòng)安裝Cloudera Hive CDH4.2 1. DataNode節(jié)點(diǎn) yum install -y impala-0.6-1.

2、p0.548.el6.x86_64.rpm impala-server-0.6-1.p0.548.el6.x86_64.rpm impala-state-store-0.6-1.p0.548.el6.x86_64.rpm impala-shell-0.6-1.p0.548.el6.x86_64.rpm libevent-1.4.13-4.el6.x86_64.rpm bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm -skip-broken1. 在hive節(jié)點(diǎn)上 yum install -y impala-0.6-1.p0.548.el6.

3、x86_64.rpm impala-server-0.6-1.p0.548.el6.x86_64.rpm impala-state-store-0.6-1.p0.548.el6.x86_64.rpm impala-shell-0.6-1.p0.548.el6.x86_64.rpm libevent-1.4.13-4.el6.x86_64.rpm bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm配置Impala查看安裝路徑rootdesktop1 conf# find / -name impala/var/run/impala/var/lib

4、/alternatives/impala/var/log/impala/usr/lib/impala/etc/alternatives/impala/etc/default/impala/etc/impala添加配置文件impalad的配置文件路徑由環(huán)境變量IMPALA_CONF_DIR指定，默認(rèn)為/usr/lib/impala/conf在節(jié)點(diǎn)desktop1上 拷貝hive-site.xml、core-site.xml、hdfs-site.xml至/usr/lib/impala/conf目錄下:rootdesktop1 conf# mkdir /usr/lib/impala/conf/roo

5、tdesktop1 conf# cp /opt/hadoop-2.0.0-cdh4.2.0/etc/hadoop/perties /usr/lib/impala/conf/rootdesktop1 conf# cp /opt/hadoop-2.0.0-cdh4.2.0/etc/hadoop/core-site.xml /usr/lib/impala/conf/rootdesktop1 conf# cp /opt/hadoop-2.0.0-cdh4.2.0/etc/hadoop/hdfs-site.xml /usr/lib/impala/conf/rootdesktop1 co

6、nf# cp /opt/hive-0.10.0-cdh4.2.0/conf/hive-site.xml /usr/lib/impala/conf/并作下面修改在hdfs-site.xml文件中添加如下內(nèi)容：<property> <name>dfs.client.read.shortcircuit</name> <value>true</value></property><property> <name>dfs.domain.socket.path</name> <value>

7、/var/run/hadoop-hdfs/dn._PORT</value></property><property> <name>dfs.datanode.hdfs-blocks-metadata.enabled</name> <value>true</value></property><property> <name>dfs.datanode.hdfs-blocks-metadata.enabled</name> <value>true</va

8、lue></property>同步以上文件到其他節(jié)點(diǎn)rootdesktop1 # scp -r /usr/lib/impala/conf desktop3:/usr/lib/impala/rootdesktop1 # scp -r /usr/lib/impala/conf desktop4:/usr/lib/impala/rootdesktop1 # scp -r /usr/lib/impala/conf desktop6:/usr/lib/impala/rootdesktop1 # scp -r /usr/lib/impala/conf desktop7:/usr/lib/

9、impala/rootdesktop1 # scp -r /usr/lib/impala/conf desktop8:/usr/lib/impala/hadoop中添加native包拷貝hadoop native包到hadoop安裝路徑下，并同步hadoop文件到其他節(jié)點(diǎn)：rootdesktop1 # cp /usr/lib/impala/lib/*.so* /opt/hadoop-2.0.0-cdh4.2.0/lib/native/創(chuàng)建socket path在每個(gè)節(jié)點(diǎn)上創(chuàng)建/var/run/hadoop-hdfs:rootdesktop1 # mkdir -p /var/run/hadoop

10、-hdfsrootdesktop3 # mkdir -p /var/run/hadoop-hdfsrootdesktop4 # mkdir -p /var/run/hadoop-hdfsrootdesktop6 # mkdir -p /var/run/hadoop-hdfsrootdesktop7 # mkdir -p /var/run/hadoop-hdfsrootdesktop8 # mkdir -p /var/run/hadoop-hdfs拷貝postgres jdbc jar：cp /opt/hive-0.10.0-cdh4.2.0/lib/postgresql-9.1-903.jdb

11、c* /usr/lib/impala/lib/啟動(dòng)服務(wù)1. 在hive所在節(jié)點(diǎn)啟動(dòng)statestored（默認(rèn)端口為24000）: GLOG_v=1 nohup statestored -state_store_port=24000 &如果statestore正常啟動(dòng)，可以在/tmp/statestored.INFO查看。如果出現(xiàn)異常，可以查看/tmp/statestored.ERROR定位錯(cuò)誤信息。1. 在所有impalad節(jié)點(diǎn)上： HADOOP_CONF_DIR="/usr/lib/impala/conf" nohup impalad -state_store_

12、host=desktop1 -nn=desktop1 -nn_port=8020 -hostname=desktop3 -ipaddress= &注意： 其中的-hostname和-ipaddress表示當(dāng)前啟動(dòng)impalad實(shí)例所在機(jī)器的主機(jī)名和ip地址。如果impalad正常啟動(dòng)，可以在/tmp/ impalad.INFO查看。如果出現(xiàn)異常，可以查看/tmp/impalad.ERROR定位錯(cuò)誤信息。使用shell使用impala-shell啟動(dòng)Impala Shell，分別連接各Impalad主機(jī)(desktop3、desktop4、desktop6、desk

13、top7、desktop8)，刷新元數(shù)據(jù)，之后就可以執(zhí)行shell命令。相關(guān)的命令如下(可以在任意節(jié)點(diǎn)執(zhí)行)：>impala-shellNot connected >connect desktop3:21000desktop3:21000 >refreshdesktop3:21000 >connect desktop4:21000desktop4:21000 >refresh注意：1. 如果hive使用mysql或postgres數(shù)據(jù)庫(kù)作為metastore的存儲(chǔ)，則需要拷貝相應(yīng)的jdbc jar到/usr/lib/impala/lib目錄下 2. E0325 11: