PyMC3 / Эдвард / Поджигатель на Искре?

Question

Кто-нибудь пробовал использовать библиотеку вероятностного программирования Python со Spark? Или у кого-нибудь есть хорошее представление о том, что для этого нужно?

У меня такое чувство, что Эдвард был бы проще, потому что уже есть инструменты, соединяющие Tensorflow и Spark, но все еще сомневаюсь, какие низкоуровневые изменения кода потребуются.

Я знаю, что распределенный MCMC по-прежнему является областью активных исследований (см. MC-Stan на Spark? ), так что это даже разумно реализовать? Спасибо!

Answer 1

Я видел, как люди запускали Pyro + PyTorch в PySpark, но случай использования был только для процессора и не включал распределенное обучение.

Answer 2

Вы можете использовать соединители Tensorflow с Edward, так как он основан на Tensorflow, один из главных недостатков MCMC очень ресурсоемкий, вы можете попробовать вариационный вывод для ваших байесовских моделей, который приближается к целевому распределению.(это также относится к Pyro и PyMC3), вы также можете работать с распределенным Tensorflow распределенным тензорным потоком

Я также рекомендую вам использовать / попробовать библиотеку под названием "Dask" https://dask.pydata.org/en/latest/ Dask , вы можете масштабировать модель с рабочей станции до кластера, в котором также есть разъемы Tensorflow.

Надеюсь, это поможет