Нужна помощь для копирования данных из плоского файла "CSV" или "TXT" в таблицы базы данных Snowflake? Как настроить snowpipe для этого процесса миграции данных? - PullRequest
0 голосов
/ 07 ноября 2019

Мне нужна помощь в настройке snowpipe для копирования данных из плоского файла, такого как "CSV" или "TXT", в таблицы базы данных Snowflake? Поскольку я новичок в этой снежинке, я не могу сделать этот процесс. Пожалуйста, помогите мне, если у кого-нибудь есть представление об этом полном процессе. Заранее спасибо.

Ответы [ 2 ]

1 голос
/ 08 ноября 2019

Если вы новичок в загрузке данных в Snowflake: - здорово следовать учебному пособию, чтобы попрактиковаться в загрузке файлов CSV и т. Д. С использованием метода массовой загрузки команды COPY, чтобы упростить устранение любых проблем в первый раз: https://docs.snowflake.net/manuals/user-guide/data-load-internal-tutorial.html (ЭтоВ учебном пособии показано, как создавать формат файла, создавать этап и загружать. Как только вы протестируете метод COPY, идеально работающий для ваших файлов, вы можете просто автоматизировать команду COPY, создав канал, который является просто оболочкой для команды COPY (примерздесь: https://docs.snowflake.net/manuals/sql-reference/sql/create-pipe.html) - Затем выполните еще несколько шагов, чтобы проверить, работает ли труба:

a) Вы можете подтвердить, работает ли труба, как ожидалось, запустив SHOW PIPES; b) Обновитьканал с помощью команды ALTER PIPE: ALTER PIPE REFRESH;c) Мониторинг состояния канала и состояния очереди. ВЫБЕРИТЕ систему $ pipe_status ('test_pipe');d) Запросить строки в вашей таблице: выберите count (*) из

0 голосов
/ 08 ноября 2019

Как уже упоминалось в комментариях, есть отличная документация, которую настоятельно рекомендуется пройти. В разделе «Образовательные услуги» на веб-сайте сообщества также есть несколько практических занятий и учебных материалов.

Вот несколько ссылок, с которых можно начать:

Если вызастрять, пожалуйста, предоставьте подробную информацию об ошибке и некоторые примеры данных, ничего, что не может быть передано в Интернете.

...