обнаружить различия в паре изображений, один имеет более низкий битрейт, а другой имеет более высокий

Question

Я пробовал многомасштабные ssim и psnr, чтобы определить, есть ли какие-либо артефакты в паре изображений (у одного более высокий битрейт, а у другого более низкий), но это не совсем точно.

Многофункциональный ssim имеет слишком много ложных тревог, и psnr не может обнаружить наличие блока, если цвет блока очень похож на фон.

Я хочу использовать нейронную сеть в пареизображения (одно идеально, а другое может иметь или не иметь блок или линию), чтобы определить, есть ли различия.Я пробовал переобучать изображение Tensorflow для категоризации с блоком и без блока, но точность очень низкая (50%).Какой метод я должен использовать для достижения более высокой точности?

Я подумываю о подаче пары изображений за раз в нейронную сеть, чтобы она знала, есть ли какая-то разница между двумя изображениями, она должна классифицировать ее как with_error.Но проблема в том, как передать пару изображений в нейронную сеть (я могу разместить только одно изображение за раз) и как заставить их учиться друг у друга в паре изображений.Я видел, как люди помещали две картинки горизонтально и сохраняли их как одно изображение.Может ли это обнаружить это?

Вот что я сделал https://codelabs.developers.google.com/codelabs/tensorflow-for-poets/#0

Я использовал код по ссылке выше и заменил изображения цветов моими изображениями.У меня есть две папки, одна содержит изображения с ошибкой и одна без.Выходные данные кода представляют собой процент от класса, чем он выше, тем больше он принадлежит этому классу.

Пример пары изображений:

Answer 1

Вы можете использовать VMAF - Fusion для оценки нескольких методов видео от Netflix.

Из Netflix Tech Blog (Medium) :

Основное обоснование заключается в том, что каждая элементарная метрика может иметь свои сильные и слабые стороны в отношении характеристик содержимого источника, типа артефактов и степени искажения.Путем «объединения» элементарных метрик в конечную метрику с использованием алгоритма машинного обучения - в нашем случае, регрессора машины опорных векторов (SVM), который присваивает веса каждой элементарной метрике, конечная метрика может сохранить все сильные стороны отдельных метрик.и поставьте более точный окончательный результат.Модель машинного обучения обучается и тестируется с использованием оценок мнений, полученных в результате субъективного эксперимента (в нашем случае, набора видеоданных NFLX).

Поэтому я думаю, что он подходит для вашего варианта использования!

Надеюсь, это поможет!Приветствия