Можно ли запустить трансформацию на искре?

Question

TF-преобразование удобно для обработки объектов, но неэффективно для работы с большим набором данных без распределенных вычислений.TF Transform работает на луче, который, на мой взгляд, может использовать несколько бегунов, таких как поток данных, спарк бегун и т. д., но я не могу найти пример работы TF Transform на спарке.Мне интересно, поддерживается ли он в данный момент.

Answer 1

Я не думаю, что вы можете пока запустить tf.transform на Spark.

tf.transform находится на Python, а бегунок Spark Beam поддерживает только Java . AFAIK только Google Runner Cloud Dataflow работает с Python и tf.transform. В одной статье упоминается PySpark , но не уверен, как это вписывается.

Продолжаются разработки Beam Runner, и, вероятно, наиболее вероятным будет Flink Runner с Python SDK , но он все еще находится в стадии разработки, а поддержка и примеры очень редки. Вот сообщение о переполнении стека о настройке .