В чем разница между обнаружением аномалий в реальном времени и обнаружением аномалий?

Question

Отсюда вытекает следующее: Каково четкое определение обнаружения аномалий в реальном времени?

Я исследую область обнаружения аномалий, и во многих работах подход определен В реальном времени , в то время как во многих других это просто называется Обнаружение аномалий .

Я случайно обнаружил, поправьте меня, не ошибаюсь ли я, что большинство так называемых подходов в реальном времени - это что-то вроде почти в реальном времени . В частности, они являются своего рода неконтролируемым контекстно-зависимым обнаружением аномалий во временных рядах, где контекст почти всегда равен размеру сегмента. Другими словами, алгоритмы обрабатывают микропакеты данных, поэтому отсюда следует почти в реальном времени .

Теперь мне было интересно, есть ли разница между двумя видами обнаружения аномалий. Если да, то как они отличаются друг от друга и каков порог в размере контейнера (если он есть)?

Этот набор вопросов связан с тем фактом, что я провожу исследование эффективности / качества предсказание различных структур для обнаружения аномалий, и мне было интересно, является ли это различие существенным, поскольку оно подразумевает две разные метрики оценки. Я хотел бы прочитать некоторые сертифицированные источники по этому вопросу.

Answer 1

Интересно, что недавно я подумал о некоторых похожих темах для хобби-проекта и нашел несколько интересных блогов от Crunchmetrics, компании, специализирующейся на обнаружении аномалий на основе ML. Суть:

Реальное время - есть набор данных для обучения или базовый набор данных, на который может ссылаться система. Справочный «поиск» быстро отображается в режиме реального времени, если, конечно, оптимизирован.

Почти реальное время - не имеет существующих обучающих или статистических моделей, и система должна вычислять базовые линии, кадры данных или диапазоны по мере поступления таким образом, влияя на скорость принятия решений.

Один блог, который я нашел полезным ... (У меня нет отношений с этой компанией): аномалия в блоге

Answer 2

В компьютерной графике обработка в реальном времени означает достаточно быструю, чтобы появиться как движение. На практике это означает обработку изображения со скоростью не менее 24 кадров в секунду.

Применение этого значения к обнаружению аномалий в реальном времени дает пример прямой трансляции видео. Где мы должны обрабатывать алгоритм обнаружения аномалий достаточно быстро, чтобы идти в ногу с видео подачей. В этом случае обнаружение аномалии должно быть выполнено менее чем за ~ 40 мсек на кадр.

Это может привести к значительному изменению c компромисса между качеством обнаружения аномалии и скоростью обработки.

Быстрый Google подбрасывает некоторую литературу по этой сделке. https://www.researchgate.net/publication/224258100_Real-time_camera_anomaly_detection_for_real-world_video_surveillance

Answer 3

С моей точки зрения, все сводится к определению «реального времени».

Как инженер по управлению, определение реального времени, с которым я живу, - это просто то, что достаточно быстро для обработки полученных данных до того, как следующий образец прибывает. Это означает, что если вы знаете частоту дискретизации, вы знаете, сколько времени вам потребуется для обработки данных датчика.

В теории управления действительно не имеет значения, сколько времени занимает память алгоритмов обработки. ака. Размер ковша, от длины буфера датчика. Выбранная частота дискретизации и скорость реакции контроллера зависят от динамики контролируемого процесса.

Таким образом, реальное время для чего-то вроде бытового радиаторного контроллера может составлять одну выборку в минуту, что означает, что вы можете обрабатывать очень долго история образцов. В принципе, вы можете обучить нейронную сеть для данных за последние два года, а затем позволить этому делать обнаружение аномалий, один раз для каждого полученного образца.

Если это радар, где данные поступают в наносекундах Сэмплирует, вы, вероятно, не успеете сделать больше, чем применить пороговое значение.

Обнаружение аномалий, поскольку область теории сама по себе не зависит от того, сколько времени требуется для обработки временных рядов, так что я видите, различие заключается в диаграмме Венна требований к процессу в реальном времени и времени, затрачиваемого на обнаружение аномалий при любом алгоритме обнаружения аномалий.

Таким образом, это подмножество алгоритма обнаружения аномалий, где размер подмножество определяется отношением между требованиями в реальном времени и вычислительными мощностями.