Я хочу добавить географическую информацию в фрейм данных. Например, для тысяч строк я хочу вызвать веб-сервис с широтой и долготой в качестве параметра, WS возвращает значение нового поля. Я должен использовать UDF для этого.
Однако я чувствую, что возникнет большая проблема с производительностью;веб-служба может быть перегружена и замедлять работу всего приложения.
Существуют ли передовые практики использования WS из приложения spark?