Используйте Spark DL Pipelines для данных изображений в файлах AVRO - PullRequest
0 голосов
/ 23 сентября 2019

У меня есть набор данных AVRO с этой схемой для HDFS,

root
 |-- id: string (nullable = true)
 |-- url: string (nullable = true)
 |-- image: binary (nullable = true)

Как мне прочитать изображение в кадре данных и использовать конвейеры глубокого обучения Spark, как показано на https://github.com/databricks/spark-deep-learning#transfer-learning

...