Создание CSV-файлов через MySQL. Есть ли ограничения? - PullRequest
1 голос
/ 07 мая 2011

Я собираюсь создать некоторые файлы CSV через MySQL с кодом, подобным приведенному ниже, например.

SELECT id, name, email INTO OUTFILE '/tmp/result.csv'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
ESCAPED BY ‘\\’
LINES TERMINATED BY '\n'
FROM users WHERE 1

Но мне просто интересно, будет ли результирующий файл достаточно большим (возможно, несколькоGB) Есть ли вещи, о которых я должен беспокоиться или меры предосторожности, которые я должен предпринять?Как проблемы с памятью и т.д?

1 Ответ

2 голосов
/ 07 мая 2011

Оперативная память не должна быть проблемой, но вы должны убедиться, что том, для которого вы пишете, может обрабатывать такой большой размер файла.Я видел, как многие парни застряли на 2 ГБ или 4 ГБ, потому что их файловая система не могла обрабатывать файлы большего размера.

Кроме того, я рекомендую записать его на локальный диск на машине MySQL, а затемкопирование его по сети или другими способами.Запись такого большого файла может занять довольно много времени, если ваша сеть не является по меньшей мере гигабитной.

Еще одно предложение ... попробуйте сначала примерно на 1000 строк или около того, а затем протестируйте CSV на соответствие вашимцелевая среда.Иногда требуется несколько попыток, чтобы получить форматирование там, где вы хотите.

...