Parallele HTTP API вызов в спарк

Question

Я пытаюсь достичь следующих двух целей.

a.Вызов нескольких HTTP-API в виде одного API на раздел

b.Объединить результат всех разделов в одном кадре данных с сохраненной последовательностью.

Согласно моему исследованию, я могу сделать следующие шаги:

1. Создание последовательности строк URL-адреса HTTP API и затем распараллелить ихв одном кадре данных.
2. с использованием mapPartitions для вызова метода, выполняющего вызов API, который, согласно моему пониманию, будет вызывать API в каждом разделе.

Это правильный подход, а также как это сделатьперед объединением я проверяю, что данные поступают в каждый раздел.