Как обновить / удалить в снежинке из скрипта AWS Glue

Question

Я хочу удалить запись в объекте данных в таблице снежинок.

Аналогичным образом я хочу выполнить обновление на основе «ключа» в кадре данных в таблице снежинок.

Мои исследования показывают, что метод utils может выполнить операцию DDL, но я не могу найти пример, на который можно сослаться.

Answer 1

Как вы упомянули, вы можете использовать метод runQuery () объекта Utils для выполнения операторов DDL / DML SQL:

https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#executing -ddl-dml- sql - операторы

Если вы хотите сделать это на основе некоторых ключей, то вы можете перебирать элементы в DataFrame и запускать SQL для каждого элемента:

как l oop через каждый ряд dataFrame в pyspark

Но это будет убийство производительности . Snowflake - это хранилище данных, поэтому вы всегда должны предпочитать «пакетные обновления», а не однострочные обновления.

Я бы предложил записать ваш фрейм данных в промежуточную таблицу в Snowflake, а затем вызвать SQL для обновите строки в целевой таблице на основе промежуточной таблицы.