Я совершенно новичок в Spark.Был случай, когда я пытаюсь вызвать несколько вызовов HTTP API параллельно, то есть один вызов API на раздел. Я весьма озадачен следующим:
a) Может ли раздел помочь мне в этом случае?
b) Если у меня есть два узла, кластер имеет 32 ГБ ОЗУ и 100 ГБ пространства каждый, каковы факторы, которые помогают мне в определении количества создаваемых разделов?
c) Учитывает ли число разделов, определенных вручную в задании, все узлы как единое целое или для каждого узла?
d) Как определить количество разделов на основе данных, передаваемых одним вызовом API?