Расширение набора данных Spark - PullRequest
0 голосов
/ 13 февраля 2019

Я хочу расширить класс Dataset из Apache Spark, добавив в него некоторые свойства.Давайте предположим, что мы хотим иметь NamedDataset.Единственное отличие состоит в том, что экземпляр NamedDataset имеет поле string, которое определяет имя этого конкретного набора данных.Вот мое попытанное решение, которое не компилируется:

class NamedDataset2[A : Encoder](prev: Dataset[A], name: String) extends Dataset[A](prev.sparkSession, prev.queryExecution, implicitly[Encoder[A]]) {

}

Компилятор не может разрешить конструктор.Однако я предоставил конструктору необходимые параметры.

Каков рекомендуемый способ выполнения этой задачи?

...