TensorFlow имеет распределенную стратегию обучения, которая называется ParameterServerStrategy: https://www.tensorflow.org/guide/distributed_training#parameterserverstrategy
Как он может работать без проблем с задержкой? потому что он должен синхронизировать c переменные между рабочими серверами и серверами параметров через сетевой кабель, и это проблема, а не как на одной материнской плате.