Задания Cron не выполняются параллельно - PullRequest
0 голосов
/ 29 апреля 2020

У меня есть 3 python сценариев, которые запланированы в том же файле crontab, что и:

# Script 1
0 20 * * 1-5 cd path/to/script && /usr/bin/python3.8 -W ignore script1.py >> file1.out
# Script 2
0 * * * * cd path/to/script && /usr/bin/python3.8 -W ignore script2.py >> file2.out
# Script 3
0 4 1-31 * * cd path/to/script && /usr/bin/python3.8 -W ignore script3.py >> file3.out

Похоже, что сценарий 3 не выполняется - так как файл file3.out отсутствует. Я сталкиваюсь с той же проблемой с кронами, которые запланированы для запуска в то же время, что и:

# Script 1
0 * * * * cd path/to/script && /usr/bin/python3.8 -W ignore script1.py >> file1.out
# Script 2
0 * * * * cd path/to/script && /usr/bin/python3.8 -W ignore script2.py >> file2.out
# Script 3
0 * * * * cd path/to/script && /usr/bin/python3.8 -W ignore script3.py >> file3.out

И в этом случае выполняются только 1 и 3. Я думал, что есть ограничение на количество крон, которые вы можете запустить, но это не так.

Сценарии развернуты на EC2, в котором я проверил CloudWatch и не увидел резкого увеличения загрузки ЦП. Однако я видел большой всплеск входов в сеть и входящие сетевые пакеты - все сценарии извлекают данные из API, поэтому, я полагаю, всплеск.

Мой вопрос заключается в том, что будет, если только число из сценариев выполняются? Я полагаю, это одно из двух:

  • Существует ограничение на количество выполняемых заданий cron (2?)
  • Существует ограничение использования сети для EC2 I Я использую

Любые идеи будут высоко оценены!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...