Я подключаю и загружаю данные в таблицу phoenix, используя pyspark, с помощью кода ниже
dataframe.write.format ("org.apache.phoenix.spark"). Mode ("overwrite"). Option ("table "," tablename "). option (" zkUrl "," localhost: 2181 "). save ()
Когда я запускаю это в представлении spark, он отлично работает по приведенной ниже команде,
spark-submit --master local --deploy-mode client --files /etc/hbase/conf/hbase-site.xml --conf "spark.executor.extraClassPath=/usr/hdp/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.3.0-235.jar:/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.3.0-235-client.jar" --conf "spark.driver.extraClassPath=/usr/hdp/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.3.0-235.jar:/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.3.0-235-client.jar" sparkPhoenix.py
Когда я запускаю это с oozie, я получаю ошибку ниже,
.ConnectionClosingException: Соединение с ip-172-31-44-101.us-west-2.compute.internal / 172.31.44.101:16020 закрывается.Вызовите id = 9, waitTime = 3 строки 'SYSTEM: CATALOG ,,' в таблице 'hbase: meta' в region = hbase: meta ,, 1.1588230740, имя хоста = ip-172-31-44-101
Ниже приведен рабочий процесс,
<action name="pysparkAction" retry-max="1" retry-interval="1" cred="hbase">
<spark
xmlns="uri:oozie:spark-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>local</master>
<mode>client</mode>
<name>Spark Example</name>
<jar>sparkPhoenix.py</jar>
<spark-opts>--py-files Leia.zip --files /etc/hbase/conf/hbase-site.xml --conf spark.executor.extraClassPath=/usr/hdp/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.3.0-235.jar:/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.3.0-235-client.jar --conf spark.driver.extraClassPath=/usr/hdp/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.3.0-235.jar:/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.3.0-235-client.jar</spark-opts>
</spark>
<ok to="successEmailaction"/>
<error to="failEmailaction"/>
</action>
Используя spark-submit, я получил ту же ошибку, которую исправил, пропустив необходимые файлы jar.В oozie, Даже я передаю банки, это бросает ошибку.