Запись набора результатов без итерации по строкам в кусте jdbc

Question

Привет. Я пытаюсь получить большую таблицу из улья, а затем записать CSV-файл.Есть ли способ, где мы можем записать весь набор результатов за один раз в файл, так как итерация по строкам для таблицы, содержащей несколько миллионов записей, требует времени.

Я не хочу делать пока (rs.next ()).

Answer 1

Вы не упомянули среду SQL, но обычно вы можете просто использовать SQL следующим образом:

SELECT * FROM [TABLENAME]
  INTO OUTFILE '[FILENAME]'
  FIELDS TERMINATED BY ','
  ENCLOSED BY '"'
  LINES TERMINATED BY '\n'

Для Hive это должно быть похоже на следующее

INSERT OVERWRITE LOCAL DIRECTORY '[FILENAME]' 
SELECT * FROM [TABLENAME]

Я могуНе буду более точным о том, как точно разделять поля, так как у меня нет доступа к Hive, но документация по этому вопросу должна помочь

Запись данных в файловую систему из запросов