Если вашей проблемой действительно является скорость сети между Colab и Drive, попробуйте загрузить файлы непосредственно в экземпляр Google Colab, а не получить к ним доступ с Drive.
from google.colab import files
dataset_file_dict = files.upload()
При этом файлы будут сохранены непосредственно в вашем экземпляре Colab, что позволит вашему коду обращаться к файлам локально.
Однако я подозреваю, что могут быть и другие проблемы, помимо задержки в сети - возможно, ваша модель имеет много параметров или что-то в коде содержит ошибку для запуска CUDA. Иногда я забываю изменить время выполнения на время выполнения графического процессора на вкладке меню «Время выполнения» «Изменить тип времени выполнения».
Надеюсь, это поможет!