Я настраиваю приемника для чтения сообщений kafka, их агрегирования небольшими партиями и помещения полученных данных в файлы секционированного паркета на S3 с использованием метода write_to_dataset из библиотеки pyarrow.
Проблемаявляется то, что я не могу понять, как проверить, был ли файл успешно загружен на S3.Если нет, то я хочу повторить операцию, пока она не будет успешной.
В исходном коде метода я вижу, что он создает имя файла путем объединения guid со строкой ".parquet".
outfile = guid() + '.parquet'
Я могу проверить наличие объекта на S3, зная его имя, но как я могу его получить?Есть ли способ как-то перегрузить метод, чтобы он возвращал имя объекта в виде строки для последующей проверки работоспособности?Или есть лучший способ сделать это без вмешательства в исходный код?