Репост от команды Flow
Возможно, хорошее место для начала - научиться использовать несколько графических процессоров через Ray:
https://ray.readthedocs.io/en/latest/using-ray-with-gpus.html
Изучение того, как использовать несколько графических процессоров с Ray, позволит вам тренироваться и с несколькими графическими процессорами, потому что мы используем Ray RLlib для обучения.Хотя справедливое предупреждение: если ваша проблема не подходит для графических процессоров (большой ввод изображения, большие нейронные сети), зачастую обучение многопоточному ЦП (например, 64-поточному Xeon) гораздо быстрее, чем обучение на нескольких графических процессорах.