Зарегистрируйте идентификатор шага EMR во время выполнения или передайте его в качестве аргумента в задание.

Question

Я хочу использовать «идентификатор шага» в пути к моему выходному файлу, чтобы я знал результат каждого запуска приложения EMR (Spark). Как мне получить к нему доступ в моем приложении Scala Spark?

Answer 1

Я не думаю, что есть прямой способ передать идентификатор шага EMR в скрипт шага. Если это действительно необходимо, вы можете попробовать следующее:

1. Используйте идентификатор в своем приложении Spark и передайте его в качестве аргумента вместе с идентификатором кластера.
2. В вашем драйвере , используйте шаги списка emr API и опишите API шага, чтобы определить соответствующий идентификатор шага.
3. Продолжите работу с приложением, используя найденный вами идентификатор шага.

Это немного косвенный или хакерский sh способ, но может сработать для вашего варианта использования.