Как выполнить увеличение данных для локализации ориентиров?

Question

Я строю нейронную сеть, используя Keras для локализации ориентиров на изображениях в градациях серого.

Я видел, что для задачи классификации есть функция Keras для выполнения Data Augmentation. Но для задачи локализации я не нашел функции для выполнения Data Augmentation, так как в помеченных данных есть точки, которые нужно изменить.

Есть идеи, как выполнить Data Augmentation для задачи локализации наземных ориентиров?

Спасибо !

Answer 1

Я не знаю, есть ли что-нибудь, что вы можете использовать из коробки в керасе. Но то, что вы всегда можете сделать, это написать собственное увеличение данных. Единственное реальное отличие от дополнения данных, например, для классификации, заключается в том, что вам также нужно отслеживать свои ориентиры.

Так что, если вы делаете переворот, вы должны также перевернуть координаты ваших ориентиров. То же самое с вращением, если вы поворачиваете на некоторый угол, вам также нужно поворачивать ориентиры. Если вы делаете обрезку, вы должны преобразовать координаты ориентира в новое обрезанное изображение, которое представляет собой простой перевод и удаляет точки, которых нет в новом изображении.

О том, как это сделать, вы можете получить посмотрите здесь
https://medium.com/the-artificial-impostor/custom-image-augmentation-with-keras-70595b01aeac

или просто найдите что-то вроде "пользовательского увеличения изображения в керасе".