мы пытаемся как-то преодолеть проблему S3 с возможной согласованностью работы со списком. Мы запускаем задание Spark, которое принимает в качестве входного пути к «каталогу» на S3. Поскольку S3 в конечном итоге согласован, мы хотим каким-то образом быть уверенными в том, что нижестоящие клиенты будут видеть все объекты. собираемся там присутствовать - тогда мы хотим запустить настоящую работу. Мы не уверены, что этот подход обеспечит согласованность - возможно ли, что один клиент может увидеть файл, а другой - нет? Мы не удаляем и не обновляем эти файлы.
Для заданий, выполняемых в EMR, мы знаем, что можем использовать emrfs. Проблема в нашем конвейере приема, который не работает на EMR.