Журналы интеллектуального анализа данных, чтобы найти ошибку

Question

Я работаю над приложением для распространения данных, которое получает данные из источника и распределяет эти данные по нескольким целевым приложениям. После успешного распространения нескольких сообщений каждую секунду в течение 8 дней он пропустил одно сообщение и не доставил его клиентам должным образом.

Пока я смотрел журналы, я пытался найти там что-то особенное для времени, которое произошло с мисс - либо в данных, его скорости или в каком-то другом состоянии, но ничего не смог найти.

Существует ли какая-либо техника интеллектуального анализа данных, которую я могу использовать, чтобы определить, чем это конкретное событие отличается от других событий?

Answer 1

Вы можете посмотреть на обнаружение выброса . Основной метод состоит в том, чтобы построить несколько переменных для множества сообщений и посмотреть, действительно ли это сообщение выделяется. Способ визуализации более двух измерений одновременно - параллельные координаты . Возможно, вам также следует посмотреть, скажем, получасовые корзины, рассчитать их статистику и посмотреть, была ли проблема в этом сообщении.

Answer 2

Извините, я не понимаю, что это, кроме неправильного понимания того, что такое интеллектуальный анализ данных.

Вы уже знаете обеспокоенное сообщение, и, следовательно, вы знаете, что это «выброс». Так для чего вы «добываете»?

Answer 3

Я не думаю, что интеллектуальный анализ данных является правильным инструментом здесь.

Я бы добавил систематическое ведение журнала (на интерфейсах сложно определить внутренние изменения состояния и, в вашем случае, почему было принято решение распространять или нет), и попытаться воспроизвести проблему, а затем выяснить из журналов, что именно произошло. неправильно. Хотя это может быть трудно с миллионами сообщений и такой редко встречающейся ошибкой.