Как загрузить таблицу с несколькими zip-файлами в Snowflake? - PullRequest
0 голосов
/ 23 октября 2019

Я пытаюсь загрузить данные в таблицу Snowflake, используя zip-файл, содержащий несколько файлов CSV, но получаю следующее сообщение:

Невозможно скопировать файлы в таблицу. Найденный символ '\ u0098' вместо разделителя полей ',' Файл 'tes.zip', строка 118, символ 42 Строка 110, столбец "TEST" ["CLIENT_USERNAME": 1] Если вы хотите продолжить загрузку при появлении ошибкивстречаются, используйте другие значения, такие как 'SKIP_FILE' или 'CONTINUE' для опции ON_ERROR. Для получения дополнительной информации о параметрах загрузки, пожалуйста, запустите 'info loading_data' в клиенте SQL.

Если я пропускаю ошибки при загрузке некоторых данных, но это похоже на то, что снежинка неправильно открывает файл zip, и я простополучить некоторые случайные символы, например, если zip-файл был открыт только с помощью блокнота.

Я попытался изменить метод сжатия формата файла на все доступные: Auto, Gzip, Deflate, Raw Deflate, Bz2m Brotli, Zstd и None,Получение разных сообщений об ошибках.

Я знаю, что мой Zip-файл сжимается с использованием стандартного метода сжатия Deflate, но когда я выбираю этот тип, я получаю следующую ошибку:

В процессе распаковки обнаружены недопустимые данные для файла:'test.zip', используемый тип сжатия: 'DEFLATE', причина: 'data error' Метод "Auto" отправляет то же сообщение об ошибке, что и None

Я также пробовал с zip-файлами, содержащими только одинфайл и я получаю одинаковые ошибки. Файлы, которые работали правильно, были несжатыми (CSV) и сжатыми с использованием GZ, но мне нужно, чтобы это работало с использованием zip-файла, содержащего несколько CSV

1 Ответ

2 голосов
/ 23 октября 2019

Zip-файл не является DEFLATE -файлом, хотя zip-файл использует deflate. Все поддерживаемые методы сжатия являются методами сжатия одного файла. Где-как zip - это файловый архив, поэтому в нем много файлов, которые похожи на tar.gz, который также не поддерживается.

Таким образом, вам нужно будет самостоятельно распаковать файлы в своемS3, или измените свой инструмент экспорта данных, чтобы он соответствовал.

ФОРМАТ СОЗДАНИЯ ФАЙЛА help

...