Как использовать оператор foreach в pyspark в структурированном потоке (происходит сбой с объектом DataStreamWriter, не имеющим атрибута foreach)?

Question

Я использую структурированную потоковую передачу в pyspark 2.3.4.

Я пытаюсь использовать оператор foreach следующим образом:

query = prediction.writeStream.format('console').foreach(process_row).start()

Я получаю следующую ошибку:

AttributeError: у объекта «DataStreamWriter» нет атрибута «foreach»

В чем здесь проблема ??

Answer 1

tl; dr Используйте Spark 2.4.0 как минимум.

Согласно официальной документации оператора foreach это было «Новое в версии 2.4.»