Могу ли я агрегировать по градиентам в объединения с тензорным потоком?

Question

В настоящее время, кажется, federated_learn tenorflow включает в себя только такие вещи, как federated_averaging, которые работают с обучаемыми переменными модели. Как мне реализовать алгоритмы, требующие градиентов для агрегирования на сервере?

Спасибо

Answer 1

Начиная с выпуска 0.2.0, TensorFlow Federated включает реализацию FedSGD (tff.learning.build_federated_sgd_process()), как описано в документе:

Коммуникационно-эффективное обучение глубоких сетей на основе децентрализованных данных Х. Брендан МакМахан, Эйдер Мур, Даниэль Рэймидж, Сет Хэмпсон, Блез Агуера и Аркас. АИСТАТЫ 2017. https://arxiv.org/abs/1602.05629

Код можно найти в tensorflow_federated/python/learning/federated_sgd.py, который показывает агрегирование градиентов на клиенте и отправку агрегированного градиента на сервер.