Действие oozie fs против S3, не обновляющего ключи в манифестах (metastore DynamoDB - emrfs не синхронизирован) для хранилища S3 - PullRequest
Новая
       49

Действие oozie fs против S3, не обновляющего ключи в манифестах (metastore DynamoDB - emrfs не синхронизирован) для хранилища S3

0 голосов
/ 03 сентября 2018

По теории, при запуске hdfs-команд с использованием HDFS CLI, 

hdfs dfs -touchz s3://bucketname/folder/file

он проходит через EMRFS и обновляет ключ в манифестах в Dynamodb при создании записи S3.

emrfs diff - говорит как в S3, так и в MANIFESTS (Dynamodb). Пока все хорошо.

Когда я пытаюсь выполнить следующее действие oozie fs против файла s3, и я могу заметить, что действие не происходит через EMRFS, так как я не вижу ключей в манифестах (DynamodB).

emrfs diff - говорит, что файл в S3, но не в манифестах (Dynamodb). 

<action name="fs_action">
    <fs>
    <name-node>${nameNode}</name-node>
        <touchz path='folder/file'/>
    </fs>
</action>

Просто интересно, использует ли oozie fs действие emrfs за экраном, поскольку оно запускается с самого сервера oozie. Просто хочу понять, что происходит за экраном на oozie fs против s3?

Заранее спасибо.

1 Ответ

0 голосов
/ 12 сентября 2018

Oozie - это одно из приложений Hadoop, которое не использует EMRFS для взаимодействия с S3.

Есть несколько приложений на EMR, таких как Presto и Oozie, которые делают не использовать EMRFS для взаимодействия с S3

EMRFS

...