Я хотел бы использовать силу pyspark для выполнения ML / DL;в частности, я хотел бы обучить DNN / NN и использовать их для параллельного предсказания.
Насколько я знаю, я видел, что есть две "основные" библиотеки, которые могут помочь решитьмоя проблема: блоки данных / SparkDL и Elephas .
Что мне не понятно, так это следующие пункты:
- Возможно ли этозапустить SparkDL на ноутбуке Jupyter или он может быть запущен только на Azure Databricks?
- Позволяет ли Elephas выполнять распределенные прогнозы или он только распространяет обучающую часть модели?
- Кто-нибудь знает какие-либо другие? способ выполнить задачу?
Надеюсь, я достаточно ясно. Заранее спасибо за ваши ответы!