В настоящее время я проводил некоторые эксперименты с AWS Elastic Container Service в контексте создания конвейера обработки данных, и у меня возникло несколько вопросов, касающихся специфики того, как наилучшим образом настроить определения задач Docker-контейнера / ECS.
Общая цель проекта - создать систему, которая позволит пользователям добавлять файлы данных в корзину S3 для запуска задачи ECS с использованием событий S3 и Lambda, а затем возвращать выходные данные в другую корзину S3.
До сих пор я был в состоянии выяснить триггеры S3 и основы Lambda, но я немного больше смущен тем, как правильно настроить контейнер докера и определение задачи, чтобы он автоматически обрабатывалданные с использованием набора скриптов Python.Я считаю, что создание Docker-контейнера, который запускает сценарий оболочки, который копирует необходимые файлы и вызывает код Python, имеет смысл, но меня смутило, как запустить Docker-контейнер с подключенным томом из задачи ECS, а также, или нет, илине этот процесс имеет смысл.В настоящее время, когда я тестирую систему на одном EC2, я запускаю свой док-контейнер с использованием:
docker run -b $ (pwd)/data:/home/ec2-user/docker_test/data docker_test
Я все еще относительно новичок в инструментах AWS, поэтому, пожалуйста, дайте мне знать, если я могу уточнитьлюбые мои вопросы / вопросы и заранее спасибо!