Подготовка файлов S3 непосредственно к внешним таблицам

Question

Я пытаюсь найти способ прямого запроса файлов csv, json и avro без предварительной подготовки файлов.

Есть ли способ сделать это?

На данный момент я нашел:

1. Внешние таблицы https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htm
2. Еще один инструмент под названием FiveTran, который позволяет мне исправлять любые автоматическое обнаружение файлов -> обнаружение таблицы

Есть ли другой способ непосредственного чтения файла в Snowflake без постановки файла?

Answer 1

Вы можете запрашивать файлы непосредственно на s3, если вы создаете объект сцены "Снежинка", который ссылается на этот сегмент / местоположение s3.

Подробности можно найти здесь:

https://docs.snowflake.net/manuals/user-guide/querying-stage.html#querying -данные в промежуточных файлах

В этой ситуации вы на самом деле не «загружая» данные в Snowflake, вы просто создаете в базе данных «stage» объект, который оказывается «указателем» на местоположение s3.

Надеюсь, это поможет ... Rich

Answer 2

Все файлы должны быть размещены во внутреннем или внешнем местоположении, на которое ссылается объект сцены. Использование внешних таблиц может быть сделано для интеграции с Apache Hive Metastores, но все еще требует наличия сценического объекта. Они могут быть несколько ограничивающими и медленными, поскольку данные не хранятся в Snowflake.

https://docs.snowflake.net/manuals/user-guide/tables-external-hive.html

Чего вы пытаетесь избежать, не ставя файлы