Прошлой ночью для большинства мест в США произошла смена времени. Я проснулся этим утром, чтобы найти десятки уведомлений о сбоях в работе. Хотя почти все они были неправильными: задания показывали, что они выполнены нормально, но Rundeck отправил уведомление об ошибке.
Интересно, что это произошло в двух совершенно разных установках Rundeck (v2.10.8-1 и v3.1.2-20190927). Общим является то, что они оба на CentOS 7 (отдельные серверы). Они оба используют MariaDB, хотя разные версии MariaDB.
В сообщениях об ошибках для успешно завершенных заданий в строке «Запланировано после» указано отрицательное время:
#1,811,391
by admin Scheduled after 59m at 1:19 AM
• Scheduled after -33s - View Output »
• Download Output
Execution
User: admin
Time: 59m
Started: in 59m 2019-11-03 01:19:01.0
Finished: 1s ago Sun Nov 03 01:19:28 EDT 2019
Executions Success rate Average duration
100% -45s
Это задание фактически запустилось за 27 с в 01:19 ПО ВОСТОЧНОМУ ВРЕМЕНИ (первое1 час, сейчас EST). Глядя на заголовки писем, я полагаю, что получил сообщение в 1:19 EST, через час после выполнения задания.
Так что мне кажется, что это просто проблема с уведомлением (каким-то образом).
Но было несколько заданий, которые следовали за выполнением других заданий, которые также не дали результатов, по-видимому, потому чтоуспешно завершенная работа вернула RC 2. Я не уверен, что с этим делать.
Мы работали в Rundeck уже несколько лет, это первый раз, когда я помню эту проблему. Конечно, моя память может быть испорчена - возможно, мы видели это раньше, только было затронуто меньше рабочих мест или что-то подобное.
Тот факт, что это повлияло на две разные версии Rundeck на двух разных серверах, подразумевает либо фундаментальную проблему с Rundeck, которая существовала уже некоторое время, либо это что-то другое в операционной системе, которое каким-то образом вызывает проблемы для Rundeck. (Хотя изменение времени не ново, так что это тоже может показаться несколько удивительным.)
Любые мысли о том, что могло произойти (и как предотвратить это в следующем году, за исключением очевидного пробега в UTC)) будет оценено.