В Apache Spark задачи в одной и той же стадии работают одновременно или нет? - PullRequest
0 голосов
/ 09 июля 2019

работают ли задачи на одном и том же этапе одновременно? если да, то к чему относится граница между разделами на этапе? пример DAG

1 Ответ

1 голос
/ 09 июля 2019

вот хорошая ссылка для чтения.это объясняет DAG подробно и несколько других вещей, которые могут представлять интерес. блог базы данных на DAG

Я могу попытаться объяснить.поскольку каждый этап создается, у него есть набор задач, которые разделены.когда действие встречается.Водитель отправляет задачу исполнителям.в зависимости от того, как ваши данные разбиты на разделы, N число задач вызывается для данных в вашем распределенном кластере.поэтому стрелки, которые вы видите, - это план выполнения.как в нем не может сделать функцию карты до чтения файла.каждый узел, содержащий данные, будет выполнять эти задачи в порядке, предусмотренном группой обеспечения доступности баз данных.

...