Развертывание модели Tensorflow / Keras в Spark Pipeline

Question

Я обучил несколько RNN+biLSTM моделей, которые я хочу развернуть в конвейере, состоящем из pyspark шагов конвейера. spark-deep-learning кажется устаревшим проектом, который предусматривает работу только с данными изображения. Существуют ли сегодня лучшие практики для загрузки моделей tensorflow / keras (и связанных с ними векторных вложений) в pyspark конвейеры?

Answer 1

Если вы хотите развернуть модель тензорного потока в Spark, вам следует взглянуть на Deeplearning4J . Он поставляется с некоторыми импортерами, где вы можете прочитать модели keras и TensorFlow . Помните, что поддерживается не каждый слой.

Помимо искрового глубокого обучения, есть tenorframe , я никогда не использовал его, поэтому я не знаю, насколько он хорош.

В общем, я бы предложил использовать тензорный поток напрямую через Распределенный тензорный поток и не использовать все эти оболочки.