Spark - jdbc читать все происходит на драйвере? - PullRequest
0 голосов
/ 16 октября 2019

У меня есть искровое чтение из источника Jdbc (оракул). Я указываю нижний, верхний, числовой раздел, столбец раздела, но, глядя на веб-интерфейс, все чтение происходит на драйвере, а не на работниках, исполнителях. Это ожидается?

1 Ответ

0 голосов
/ 16 октября 2019

В среде Spark, любой код, который вы пишете в преобразовании, таком как map, flatMap и т. Д., Будет выполняться на исполнителе. Чтобы вызвать преобразование, вам нужен RDD, созданный с использованием набора данных, на котором вы пытаетесь вычислить. Чтобы материализовать СДР, вам нужно вызвать действие, чтобы к данным применялись преобразования.

Я полагаю, что в вашем случае вы написали искровое приложение, которое читает данные jdbc. В таком случае все будет выполнено в драйвере, а не в исполнителе.

Если вы этого еще не сделали, попробуйте создать Dataframe с использованием this API.

...