Новичок в python и pyspark.
Я использовал пакет запросов python для извлечения данных из приложений, использующих REST API, через метод 'get', который обеспечивает ответ в виде данных json, который затем считывается в pandas dataframe.
Я пытаюсь перенести код для Spark с Pyspark сейчас.
Интересно, есть ли какая-либо альтернатива пакету запросов python для spark.
Или любым другим способом, который имеетчтобы следовать.
Я все еще могу сделать с существующим кодом Python и изменить pandas dataframe, который захватывает данные в pyspark dataframe, но я считаю, что это не будет эффективным.
Нужны некоторые предложенияо том, как использовать остальные API приложения в Pyspark.
Спасибо за помощь!