Краткий ответ - да, TFF может поддерживать обучение с подкреплением на уровне Federated Core API;обратите внимание, что RL в настоящее время не реализован в tff.learning (хотя мы приветствовали бы такой вклад).С точки зрения машинного обучения, вы можете думать о TFF как о коммуникационном слое поверх TF, и все, что TF поддерживает TFF, может поддерживать.
Я попытаюсь остановиться на нескольких ключевых особенностяхответ:
Во-первых, федеративное обучение с подкреплением - это вопрос открытых исследований.Учитывая сложность обучения моделей RL в целом, сообщество FL, я думаю, было бы радо видеть, как агенты, обученные в федеративной среде, воспроизводят даже классические результаты RL, и мы были бы очень рады увидеть, как такая вещь реализована в TFF.
Во-вторых, TFF в целом поддерживает любой процесс итеративного обучения на основе TensorFlow, в частности обучение на основе градиента.Можно представить множество возможных способов моделирования RL в федеративных условиях;TFF поддерживает прохождение любого вида обновления, поэтому небо - это предел с точки зрения того, что может поддерживать реализация федеративного TL TL.
Наконец, я думаю, что возможноначинать с реализации RL в TFF - это просто реализовать RL в ванильном TensorFlow модульным способом.Любое взаимодействие, которое должно происходить в выбранной вами федеративной модели RL, должно быть записано между TensorFlow, в TFF.Если вы реализуете, например, своего актера и своего критика модульно с помощью функции tf.function, то реализовать коммуникацию, которая вам нужна, в декораторе @tff.federated_computation будет относительно просто.Для получения советов по смешиванию кодов TF и TFF см. этот пост от ведущего автора TFF.