Как сравнить схему двух наборов данных с Spark? - PullRequest
Новая
       25

Как сравнить схему двух наборов данных с Spark?

2 голосов
/ 18 июня 2019

У меня есть два набора данных (dsFile и dsTable) со следующей схемой:

dsFile: 

dsFile
  |-- A: string (nullable = true)
  |-- B: string (nullable = true)
  |-- C: string (nullable = true)

dsTable: 

dsTable
  |-- A: string (nullable = true)
  |-- B: string (nullable = true)
  |-- C: string (nullable = true)
  |-- D: string (nullable = true)
  |-- E: string (nullable = true)

Мне интересно, еслиЕсть ли способ найти различия столбцов между этими двумя наборами данных?И создайте новый набор данных dsFile с отличиями:

dsFileNew: 

dsFileNew
  |-- A: string (nullable = true)
  |-- B: string (nullable = true)
  |-- C: string (nullable = true)
  |-- D: string (nullable = true) // column of dsTable
  |-- E: string (nullable = true) // column of dsTable
...