PySpark - передача из коллекции в RDD

Question

У меня есть следующее преобразование:

rdd1.map(lambda line: line[3]).countByValue()

Как я могу сохранить это, чтобы сохранить результат как TextFile?

Потому что, если я попытаюсь использовать:

rdd1.map(lambda line: line[3]).countByValue().saveAsTextFile("directory.txt")

Однако saveAsTextFile не является частью коллекций.Как я могу это сделать?

Answer 1

countByValue () преобразовывает результат в коллекцию Карт, а не в СДР.

saveAsTextFile () определен для работы на СДР, а не на карте / коллекции.

Подобный вопрос со scala (countByKey): здесь

вам нужно распараллелить карту и создать RDD, а затем сохранить как текстовый файл