Spark / Scala: сохраняйте искомые данные в CSV-файл

Question

У меня есть одна программа, которая ожидает CSV-файл и написана на Python.

Предполагается, что данные в формате csv поступают из scala, которая использует функциональность spark для хранения данных из источника и сохранения во временной таблице, как показано ниже.

abb.createOrReplaceTempView("tempt")

temp является результатом вышеприведенной команды зажигания Описано .

Я хочу сохранить временные данные в csvfile /tmp/something.csv Но я не нашел ничего такого в scala с искрой, которая бы служила моей цели.

Пожалуйста, предложите мне, как лучше всего сохранить tempt в CSV-файле /

Answer 1

объявление «temp» как tempTable позволяет ссылаться на него при написании команд SQL в spark, если вы хотите сохранить фрейм данных, используйте abb.write.csv("file_name")