Я использую решение для эластичного облака и играю с ML в Кибане.
Я загружаю кучу журналов в эластичный индекс, а затем создаю задание ML для запуска через индекс и поиска аномалий.
Работа отлично работает, и я получаю свои аномалии.
Проблема в том, что когда я загружаю новые журналы на работу, например, через 2 дня после предыдущей загрузки, я не получаю новые аномалии.
Если я снова загружаю все журналы (старые с новыми данными за последние 2 дня), затем воссоздаю задание ML и запускаю его снова, я получаю новые аномалии (старые и аномалии за последние 2 дня, которые не были представлены во время первый запуск).
Мой текущий поток выглядит так:
- Загрузка логов в индекс эластичности
- Создание задания ML с подачей данных из этого индекса
- Получить результаты
- Получить новые журналы (или подождать несколько дней)
- Изменить состояние задания ML на открыть
- Загрузка журналов в ML Job
- Подождите несколько минут (так как я добавляю примерно 1000 новых журналов, я жду 2 минуты)
- Заподлицо
- Подождите несколько минут
- Закрыть работу
- Получить результаты работы
Но проблема в том, что если я посмотрю на вкладку задания 1046 в Кибане, то у меня появится последняя запись в ML Job с правильной (самой последней) датой.
Но я не получаю новых аномалий.
Кроме того, в разделе Counts для этой работы ML я вижу:
число обработанных полей: 649 638
и
input_field_count: 651 068
Если я посещу Single metric viewer для этой работы, я вижу, что новые записи не были обработаны.
Итак, я предполагаю, что ML просто не перезапускает работу и не анализирует новые данные.
Я потратил много времени на изучение эластичной документации ML и не могу найти способ возобновить работу.
Итак, вопрос в том, как перезапустить работу ML?