У меня есть требование, при котором я должен вызывать внешний API для извлечения некоторых данных для каждой строки моего набора данных, а затем в зависимости от ответа, полученного от APU, добавить столбец в эту строку.
Я думал об использовании функции mapPartitions набора данных для этой цели. Я могу вызвать API в этой функции, но после этого я не могу добавить соответствующий столбец в строку.
У кого-нибудь есть указания, как это сделать?
Я также могу использовать некоторые другие конструкции, если mapPartitions не будет работать в этом случае.
Я также могу использовать UDF для этого, но мне нужно создать экземпляр HTTPClient для каждой строки в этом случае, и я пытаюсь избежать этого.
я ч