Ошибка при запуске Apache Худи deltastreamer

Question

Я пытаюсь запустить Hudi deltastreamer на AWS EMR. Следуйте инструкциям в этом блоге. https://cwiki.apache.org/confluence/pages/viewrecentblogposts.action?key=HUDI

Но когда я запускаю следующую искру отправки, появляется ошибка:

 Exception in thread "main" org.apache.hudi.com.beust.jcommander.ParameterException: Was passed main parameter '--table-type' but no main parameter was defined in your arg class
            at org.apache.hudi.com.beust.jcommander.JCommander.initMainParameterValue(JCommander.java:936)
            at org.apache.hudi.com.beust.jcommander.JCommander.parseValues(JCommander.java:752)
            at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:340)
            at org.apache.hudi.com.beust.jcommander.JCommander.parse(JCommander.java:319)

Команда, которую я запускаю ниже:

spark-submit --class org.apache.hudi.utilities.deltastreamer.HoodieDeltaStreamer \
--packages org.apache.spark:spark-avro_2.11:2.4.4 \
 --master yarn --deploy-mode client /usr/lib/hudi/hudi-utilities-bundle.jar \
--table-type COPY_ON_WRITE --source-ordering-field payment_date --source-class org.apache.hudi.utilities.sources.ParquetDFSSource \
--target-base-path s3://sakila-db/hudi-payment \
--target-table hudi-payment \
--transformer-class org.apache.hudi.utilities.transform.AWSDmsTransformer \
--payload-class org.apache.hudi.payload.AWSDmsAvroPayload \
--hoodie-conf hoodie.datasource.write.recordkey.field=order_id,hoodie.datasource.write.partitionpath.field=staff_id,hoodie.deltastreamer.source.dfs.root=s3://sakila-db/sakila/payment

Пожалуйста, помогите.

Answer 1

На основании EMR-релизов поддерживаемая в настоящее время версия hudi инкубируется в 0.5.0. Следующие шаги выполняются для 0.5.1, где параметр --table-type - это новое имя для старого --storage-type в 0.5.0.

Попробуйте выполнить повторный запуск, используя --storage-type вместо --table-type, если вы используете 0.5.0