Моя система помещает json файлы в сегмент S3, и, хотя везде, где я читаю файлы, загруженные на S3, не видны до тех пор, пока они не завершат загрузку, я получаю следующее исключение
Ошибка сканирования спектра. Неожиданный конец сжатого файла. Файл может быть обрезан. file = https://s3.us-east-1.amazonaws.com/bucket/partition_day_date=2020-04-03 // partition_abc_id = 276 / data. json .gz Ion / JSON Ошибка потока при открытии буфера: Ошибка чтения. В файле 'https://s3.us-east-1.amazonaws.com/bucket/partition_day_date=2020-04-03 / partition .
, который, как показывает мой журнал и дата последнего изменения s3, произошел одновременно и после попытки доступа к файлу через консоль кажется, что файл в порядке.
Если он не обращается к файлу во время его загрузки, что еще может вызвать это?