Создать фрейм данных из нескольких наборов данных - PullRequest
0 голосов
/ 19 февраля 2019

Я занимаюсь программированием больших данных с использованием Apache Spark и Scala.Я хочу создать фрейм данных из нескольких наборов данных, расположенных в каталоге.Все наборы данных представлены в текстовом / простом формате с одинаковыми именами столбцов и типами данных.Мой вопрос: как я могу создать один фрейм данных из этих нескольких наборов данных, используя scala?

1 Ответ

0 голосов
/ 19 февраля 2019

вы можете попробовать функцию union.Вы можете читать данные в 2 разных файлах и объединять их вместе, используя функцию union.

val df = firstDF.union(secondDF)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...