Копирование данных из файла AWS S3 Parquet - всего несколько строк

Question

(Отправка от имени пользователя Snowflake - в поисках любого доступного совета ...)

При копировании данных из файла AWS S3 Parquet, я хочу выбрать тольконесколько строк в зависимости от условия, где копировать в Snowflake. Я просмотрел следующую ссылку (понимая, что преобразование копирования должно позволить мне добавить предложение фильтра при выборе данных из файла рабочей области):

https://docs.snowflake.net/manuals/user-guide/script-data-load-transform-parquet.html

Однако из примера Iвидите, это помогает выделить несколько столбцов, а не несколько строк. Я пытаюсь отфильтровать строки на основе условия загрузки.

---

Ранее было рекомендовано, чтобы фильтр можно было применить таким же образом, применив предложение «Где», но это не так. Кажется, это подходящее решение для пользователя.

Есть какие-нибудь рекомендации?

Answer 1

Оператор копирования поддерживает только простые операторы выбора без предложения where. Единственный вариант фильтрации строк во время загрузки - использовать значения пределов и смещений.

create or replace file format sf_tut_parquet_format type = 'parquet';
create or replace stage sf_tut_stage1 file_format = sf_tut_parquet_format;
create or replace table prqnull1(data variant);
copy into prqnull1 (data) from (select * from @sf_tut_stage1 limit 3 offset 2);

Таблица содержит данные о паркете, построенные с использованием приведенных ниже данных.

cutoff_date,name
20081123, Ann
20080913, Beck
20100315, Carren
20110817, Dave
20161219, Emily

Answer 2

Насколько я знаю, это невозможно. Вы можете ограничить, какие столбцы будут загружены, но не какие записи будут загружены. Я не вижу ничего в ссылке на документацию, которая предполагает, что вы можете использовать предложение WHERE. И документация COPY INTO также не предоставляет такую ​​возможность.

https://docs.snowflake.net/manuals/sql-reference/sql/copy-into-table.html#type-parquet