Как отправить каждую строку DataFrame в пошаговую функцию, получить ответ обратно и сохранить его в столбце в DataFrame?

Question

Я нахожусь в скрипте работы Glue с DataFrame 800 строк. У меня есть StepFunction, которая может взять строку в формате JSON, вернуть ответ.

Из задания Glue мне нужно передать каждый ряд DataFrame в StepFunction, получить ответ и сохранить его в столбце. в кадре данных.

Как это сделать?

Answer 1

Поскольку я не использую pandas, я не могу использовать df.apply (). Я должен использовать withColumn (), как фрагмент ниже:

sparkSeriesSanitize = f.udf(sanitize_status, StringType())
elementDataF = elementDataF.withColumn("new_column", sparkSeriesSanitize(elementDataF.element)))

Answer 2

Вы пробовали использовать функцию «Применить»? https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

С помощью этой функции легко передать ваши данные через функцию, а затем сохранить результаты в столбце. Пример: df['new column'] = df.apply(lambda row : function(row.column), axis=1)