Как использовать flink-s3-fs-hadoop в Кубернетесе

Question

Я вижу приведенную ниже информацию в документации flink - чтобы скопировать соответствующий jar в каталог плагинов, чтобы использовать s3. Как я могу это сделать, если я внедряю Flink с использованием Kubernetes.

"Чтобы использовать flink-s3-fs-hadoop или flink-s3-fs-presto, скопируйте соответствующий файл JAR из каталога opt в каталог плагиноввашего дистрибутива Flink перед запуском Flink, например

mkdir ./plugins/s3-fs-presto cp ./opt/flink-s3-fs-presto-1.9.0.jar ./plugins/s3-fs-presto / "

Answer 1

Если вы используете сценарий build.sh, который входит в состав flink, для создания образа докера для конкретного приложения, у него есть параметр (--job-artifacts), который позволяет вам указать список артефактов (файлов JAR) длявключить в изображение. Эти jar-файлы все попадают в каталог lib. См. https://github.com/apache/flink/blob/master/flink-container/docker/build.sh.

Вы можете расширить это, чтобы корректно работать с плагинами, или пока не беспокоиться об этом (размещение их в каталоге lib все еще поддерживается).