Я пытаюсь поэкспериментировать со временем выполнения удаленного исполнителя с примером, приведенным по этой ссылке. https://github.com/tensorflow/federated/blob/master/tensorflow_federated/python/examples/remote_executor_example.py
Если я использую тензор потока на базе процессора, то все работает нормально. Однако для тензорного потока на основе графического процессора возникает следующая ошибка и прерывает выполнение:
2020-03-29 16:27:22.904103: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2020-03-29 16:27:22.904807: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1241] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 978 MB memory) -> physical GPU (device: 0, name: GRID V100DX-32C, pci bus id: 0000:02:00.0, compute capability: 7.0)
2020-03-29 16:27:22.995000: W tensorflow/core/common_runtime/base_collective_executor.cc:217] BaseCollectiveExecutor::StartAbort Internal: No unary variant device copy function found for direction: 1 and Variant type_index: tensorflow::data::(anonymous namespace)::DatasetVariantWrapper
[[{{node partitionedcall_args_0/_2}}]]
Как мне решить эту проблему? Кто-нибудь сталкивался с подобными проблемами?