Распределенное обучение по местному GPU и Colab GPU

Question

Я хочу подстроить АЛЬБЕРТА.

Я вижу, что можно распределить нейронные net тренировки по нескольким процессорам с использованием тензорного потока: https://www.tensorflow.org/guide/distributed_training

Мне было интересно можно ли распределить тонкую настройку как по gpu моего ноутбука, так и по colab gpu?

Answer 1

Я не думаю, что это возможно. Потому что для проведения распределенного обучения на GPU вам нужны NVLinks среди ваших GPU. У вас нет такой связи между графическим процессором вашего ноутбука и графическим процессором Colab. Это хорошее чтение https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/