У меня есть пакет python заданий, которые отличаются только входным файлом, который они читают, например:
python main.py --input=file1.json > log_file1.txt
python main.py --input=file2.json > log_file2.txt
python main.py --input=file3.json > log_file3.txt
...
Все эти задания независимы и используют предварительно созданную среду anaconda.
Я могу запустить свой код на экземпляре EC2 по требованию, используя следующий рабочий процесс:
- Подключите том EBS с входными файлами и предварительно созданной средой conda.
- Активируйте среду conda.
- Запускайте python программы так, чтобы каждая программа считывала отдельный входной файл и записывала в отдельный файл журнала. Входные файлы хранятся в томе EBS, а файлы журнала будут записаны в том EBS.
Теперь я хочу масштабировать это, чтобы использовать AWS точечных экземпляров - в основном, если У меня есть N заданий, я запрашиваю N точечных экземпляров, которые запускают одно из указанных выше заданий, каждое для чтения разных файлов с существующего тома, и записывают выходные данные в разные файлы на одном томе. Но я не смог найти исчерпывающего руководства о том, как go об этом. Любая помощь приветствуется.