AWS S3: есть ли способ подсчета строк загруженного файла? - PullRequest
Новая
       12

AWS S3: есть ли способ подсчета строк загруженного файла?

0 голосов
/ 27 сентября 2018

Мы хотели бы проверить количество строк загруженных файлов на AWS S3, если задача загрузки обязательно завершится правильно.

Теперь мы просто отправляем экспортированные файлы с помощью команды Windows AWS CLI какдалее, после экспорта из SQL Server; 

aws s3 cp !SEND_FILE! %S3_DIR%/

Пожалуйста, сообщите нам, если есть какой-либо способ проверить количество загруженных файлов в корзине S3.Если нет подходящего способа их подсчета, также будет полезно получить любой код ошибки при загрузке как альтернативный способ.

Спасибо за ваш совет заранее.

1 Ответ

0 голосов
/ 27 сентября 2018

Без повторной загрузки файла невозможно напрямую посчитать строки на S3.Однако это не нужно.Из документации REST API :

Amazon S3 никогда не добавляет частичные объекты;если вы получите ответ об успешном завершении, Amazon S3 добавил весь объект в корзину.

Основной способ достижения этой цели - проверка хеша MD5, рассчитанного на клиенте (т. е. где вы находитесьзапуск CLI) совпадает с сохраненным объектом.Из тех же документов:

Чтобы гарантировать, что данные не повреждены при прохождении через сеть, используйте заголовок Content-MD5.Когда вы используете этот заголовок, Amazon S3 проверяет объект по предоставленному значению MD5 и, если они не совпадают, возвращает ошибку.

CLI автоматически рассчитает для вас хеш MD5 и отправит егодо S3.Поэтому, если объект (файл) загружен неправильно, вы получите сообщение об ошибке в CLI, сообщающее об этом.

...