Как конвертировать HDFS файл в CSV или TSV.

Question

У меня есть случай, когда мне нужно конвертировать формат файла HDFS в CSV или TSV.Я знаю способ, с помощью которого мы можем создать таблицу кустов поверх формата файла hdfs и хранить данные в требуемом формате.Но для этого мне потребовалась информация о данных (например, имя столбца для создания таблицы).Есть ли другой способ использовать куст или что-то еще, что конвертировать любой формат файла hdfs в CSV или TSV?

Answer 1

Прежде всего .. для преобразования данных в CSV или TSV вам понадобятся ваши данные в структурированном виде, проверьте это один раз.
Способ, который вы указали для преобразования данных с помощью Hive, является одним из вариантов.
Другой вариант - использовать искру.- Здесь вы должны прочитать данные в структурированном формате, а затем при сохранении вы должны конвертировать в CSV.Пожалуйста, обратитесь к следующей ссылке для более подробного объяснения:

Как экспортировать данные из Spark SQL в CSV

Вы также можете использовать python для преобразования данных в CSV.