Это определяет цвет?

Question

Год назад я обучил модель распознавать цветы. Год спустя я снова запускаю этот проект, но сначала я решил убедиться, что все еще помню, обучив его обнаруживать и красные и зеленые карандаши.

Мой процесс более или менее соответствует этому уроку - https://github.com/EdjeElectronics/TensorFlow-Object-Detection-API-Tutorial-Train-Multiple-Objects-Windows-10

У меня есть две метки, зеленая и красная. У меня есть 200 тренировочных изображений и 20 тестовых изображений. Использование fast_rcnn_inception. Я следовал за шагами и управлял своей моделью.

Он обнаруживает мелки так хорошо, как вы могли только с 200 изображениями, однако вообще не может различить красный и зеленый мелки. Я подумал, может быть, я облажался с настройками, но если я переместил синюю ручку, ярлык всплывает!

Даже если я накормлю его тренировочными изображениями, он классифицирует 99% из них как две зеленые ручки. Даже при том, что у каждого изображения всегда есть две разных ручки !!!

Может ли эта модель работать с цветом? Или это как-то конвертирует цвет и портит его? Трудно ли определить цвет, и мне просто нужно больше тренировочных образов? Вероятно, я испортил настройку, поскольку она даже не может правильно классифицировать тренировочные образы?

Файл конфигурации, который я использую, находится здесь: https://github.com/tensorflow/models/blob/master/research/object_detection/samples/configs/faster_rcnn_inception_v2_pets.config Я изменил строку 9, строку 130 и строку 108 на false.

Answer 1

Как правило, нейронные сети могут определять цвет.

Но часто они учатся не делать этого. Из-за различий в цветовой температуре и перспективе разные цвета могут давать одинаковые или похожие значения на уровне пикселей. Поэтому при обучении в больших сетях наборов данных, как правило, они становятся очень независимыми от цвета. К сожалению, я могу говорить только из интуиции и не могу привести ни одного примера или ссылки, но рисунок выше должен дать вам понять, почему.

В вашем случае проблемы еще более осложняются тем, что существует конкурирующая задача по обнаружению ящика с предметом. Благодаря этому во время переподготовки сеть обнаружения может стать нечувствительной к слабым признакам, таким как цвет.

Чтобы разобраться в ситуации, я бы порекомендовал присмотреться к точности вашей классификации во время переподготовки. Насколько я могу судить, учебный код предоставляет только значение потерь. Следует ожидать, что во время переподготовки, по крайней мере, состав поезда должен быть почти идеально одет, то есть зеленый и красный мелки должны стать различимыми. Если нет, то имеет смысл тренироваться дольше или снижать скорость обучения.