вызов SPARK SQL внутри функции карты

Question

В моем коде у меня есть требование, где мне нужно вызывать spark sql для каждой строки dataset.

Теперь для spark sql требуется SparkSession внутри функции карты, которая неможно передать как широковещательную переменную.

Итак, есть ли способ вызвать Spark SQL внутри map function?

Я проверил онлайн, но не смогчтобы найти любую информацию, относящуюся к тому же.

Я использую Java в качестве языка программирования для SPARK.

SPARK VERSION: 2.3.0

Спасибозаранее.

Answer 1

Карта применяет функцию к каждому элементу Dataset и возвращает еще один Dataset.Здесь вам нужно перебрать каждый элемент с org.apache.spark.api.java.function.ForeachFunction.Затем вы можете выполнить иск SQL для каждого элемента.

Пример:

data.foreach((ForeachFunction<Row>) row -> System.out.println(row));