Обработка большого набора данных для Tensorflow Federated

Question

Каков эффективный способ подготовки ImageNet (или других больших наборов данных) для федеративного моделирования Tensorflow?В частности, с применением пользовательской функции карты к объекту tf.Dataset?Я посмотрел учебники и документы, но не нашел ничего полезного для этого варианта использования.В этом руководстве (https://www.tensorflow.org/federated/tutorials/custom_federated_algorithms_2) показана обработка MNIST, но этот набор данных относительно мал.

Answer 1

Не могли бы вы уточнить, что именно вы подразумеваете под "эффективными" в этом контексте. Я полагаю, вы что-то пробовали, и это не сработало, как ожидалось. Не могли бы вы описать здесь, как вы настроились, и с какими проблемами вы столкнулись. Спасибо!

Следует отметить, что среда выполнения, включенная в первый выпуск, будет работать только с наборами данных, которые умещаются в памяти. Возможно, это ограничение, с которым вы сталкиваетесь.