Как преобразовать столбец изображения изображения DF во что-то, что может быть обработано SparkML - PullRequest
Новая
       2

Как преобразовать столбец изображения изображения DF во что-то, что может быть обработано SparkML

0 голосов
/ 08 мая 2019

Как извлечь столбец изображения из данных изображения в функцию, которая может быть предоставлена ​​Spark MLLib?

Я пытаюсь написать алгоритм классификации распознавания изображений SparkML. Я использую Spark 2.4.2 и загрузил изображения в DataFrame со схемой, в которой есть один столбец image типа struct. Затем я преобразовал столбец изображения в столбец «особенности» с помощью VectorAssembler и использовал метод преобразования, чтобы получить DF. Однако я получаю ошибку "Исключение в потоке" main "java.lang.IllegalArgumentException: структура типа данных изображения столбца не поддерживается." 

Scala
val assembler = new VectorAssembler()
                   .setInputCols(Array("image"))
                   .setOutputCol("features")

val outputlearn = assembler.transform(learnDF)

Я ожидал, что DF со столбцом изображения типа struct будет преобразован в столбец «features» типа vector. Если это невозможно, есть ли альтернативный способ добиться этого?

...