Несколько вещей, которые я заметил, которые могут вам помочь:
num_classes в вашем конфигурационном файле на 24, но вы обучаете 23 класса.
Также вы видите, что используете фиксированный размер изображения,в зависимости от размеров ваших фотографий это может быть проблемой, поскольку вы не поддерживаете соотношение сторон.
Возможно, вы заметите небольшое улучшение, обучившись меньшему количеству шагов (20 КБ), поскольку ваш набор данных довольно мал.
Если ничего из этого не поможет, то рассмотрим добавление аргумента майнера жестких данных в файл конфигурации, чтобы ввести минимальное количество отрицательных примеров.