Как перебрать DataSet <Row>записей больше 5L в Spark

Question

Мы извлекаем записи из таблицы объемом более 5,5 л и создаем искровой DataSet.Теперь мы хотим записать файл, и когда мы используем dataSet.collectAsList, то задание на спуск прекращается и выдает следующее сообщение об ошибке:

Отслеживание стека драйверов:

19/04/12 12:43:33 INFO DefaultLifecycleProcessor: Stopping beans in phase 0
19/04/12 12:43:33 INFO AnnotationMBeanExporter: Unregistering JMX-exposed beans on shutdown
19/04/12 12:43:33 INFO DAGScheduler: Job 1 failed: collectAsList at BuildFinalDataSetProcessing.java:130, took 234.918368 s
19/04/12 12:43:33 INFO SparkContext: Invoking stop() from shutdown hook
19/04/12 12:43:33 INFO SparkContext: SparkContext already stopped.
19/04/12 12:43:33 INFO DiskBlockManager: Shutdown hook called
19/04/12 12:43:34 INFO ShutdownHookManager: Shutdown hook called.

Как мы можем выполнить итерацию DataSet?

Answer 1

мы используем dataSet.collectAsList

Не делай этого. Напишите набор данных, используя dataset.write.