Клиент S3A и локальный макет S3

Question

Для создания сквозных локальных тестов рабочего процесса данных я использую контейнер «mock S3» (например, adobe / S3Mock ).Кажется, работает просто отлично.Однако некоторые части системы зависят от клиента S3A.Насколько я вижу, его формат не позволяет указывать на конкретный сервер имен или конечную точку.

Можно ли заставить S3A работать в локальной среде?

Answer 1

Вы говорите о ASF Hadoop S3A Connector?Никто не тестировал S3-макет AFAIK (никогда не видел его раньше!), Но он работает с конечными точками не-AWS

, установленными fs.s3a.endpoint на URL вашего S3-соединения.Есть некоторые настройки для переключения с https на http (fs.s3a.connection.ssl.enabled = false) и перехода с виртуальных хостов в каталоги (fs.s3a.path.style.access = true), которые также будут необходимы.

дальнейшее чтение

Как я уже сказал: никто этого не делал.Мы, разработчики, просто идем вразрез с основными конечными точками AWS с его проблемами (задержка, несогласованность, сообщения об ошибках и т. Д.) Именно потому, что это то, что вы получаете в работе.Но для локального тестирования это упростит вам жизнь (и вы можете запустить его под руководством Дженкинса, не раскрывая ему никаких секретов)