Я решил эту проблему, проблема заключалась в том, что разные каналы цветных изображений не все изображения были RGB, поэтому я сделал преобразование в dataset.py, я изменил это:
im = Image.open(image_path)
в это:
im = Image.open(image_path).convert('RGB')