Может ли Impala работать поверх Alluxio? - PullRequest
Новая
       38

Может ли Impala работать поверх Alluxio?

0 голосов
/ 28 сентября 2018

Я попытался настроить Impala для запуска поверх Alluxio, но не смог.

Вот конфигурации Impala:

/ etc / impala / conf / core-site.xml (http://www.alluxio.org/docs/1.6/en/Running-Hadoop-MapReduce-on-Alluxio.html)

<configuration>
<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value>
  <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
</property>
<property>
  <name>fs.AbstractFileSystem.alluxio.impl</name>
  <value>alluxio.hadoop.AlluxioFileSystem</value>
  <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
</property>
</configuration>

/ etc / impala / conf / hive-site.xml (http://www.alluxio.org/docs/1.6/en/Running-Hive-with-Alluxio.html)

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

Затем я запустил Impala (impala-server, impala-catalogd,impala-state-store), но в журнале я нашел это: 

...impala-server.cc:282] Currently configured default file system: FileSystem. fs.defaultFS (alluxio://192.168.1.10:19998/) is not supported.
...impala-server.cc:285] Aborting Impala Server startup due to improper configuration. Impalad exiting.

Я много искал на Bing, но безуспешно. Даже результаты поиска по ключевым словам «impala on alluxio» невеликиТак может ли Impala работать поверх alluxio? Будем благодарны за любые предложения.

Моя версия Impala: 2.10.0-cdh5.13.0 RELEASE, версия Alluxio: alluxio-1.8.0-hadoop-2.7

1 Ответ

0 голосов
/ 01 октября 2018

Вы пробовали запустить Hive с внешними таблицами на Alluxio ?Вместо того, чтобы устанавливать Alluxio как defaultFS, удалите 

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

и используйте что-то вроде следующего для создания таблицы на Alluxio: 

hive> CREATE TABLE u_user (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master_hostname:port/table_path';

Это может помочь обойти проверку реализации файловой системы Impala.Также есть ошибка в CDH 5.13 и ниже, которая не позволяет Impala читать данные в Alluxio.Возможно, вы захотите обновить его до CDH 5.14, чтобы устранить эту проблему.

...