Обнаружение аномалий с помощью автоматического кодера с использованием набора данных без меток (Как создать входные данные)

Question

Я новичок в области глубокого обучения, я хотел бы спросить о немаркированном наборе данных для обнаружения аномалий с использованием автоэнкодера. моя запутанная часть начинается с нескольких вопросов ниже:

1) в некоторых публикациях говорится об отделении аномалии и неаномалии (предположим, помечено) от исходного набора данных, а также тренировка AE с единственным набором данных, отличным от аномалии (обычно количество неаномалий будет более доминирующим). Итак, вопрос в том, как мне отделить мой набор данных, если он не помечен?

2) если я тренируюсь с использованием исходного набора данных без меток, как обнаружить данные аномалии?

Answer 1

Метка данных не входит в автоэнкодер.

Авто Энкодер состоит из двух частей: Энкодер и Декодер

Encoder: он кодирует входные данные, например, образец с 784 функциямидо 50 функций

Decoder: из этих 50 функций он преобразует его обратно в исходную функцию, то есть 784 функции.

Теперь, чтобы обнаружить аномалию, если вы передаете unknown sample, она должна бытьпреобразован обратно в original sample без особого loss.Но если есть lot of error в преобразовании его обратно.тогда это может быть anomaly.

Изображение предоставлено: vs.datascience.com