Как обновить значения разделенных столбцов в Delta?

Question

Я хотел знать, возможно ли обновить «значения» столбца, на котором разбита дельта-таблица?

Таблица разбита на определенный столбец, теперь я хочу обновить значение этого конкретного столбца. Могу ли я это сделать?

---

(найдено на slack )

Answer 1

Используйте параметр replaceWhere.

Цитирование официальной документации на Заменить схему таблицы :

По умолчанию перезапись данных в таблице не выполняется переписать схему. При перезаписи таблицы с использованием mode("overwrite") без replaceWhere вы все равно можете перезаписать схему записываемых данных. Вы заменяете схему и разбиение таблицы, устанавливая для параметра overwriteSchema значение true.

Цитирование статьи Выборочное обновление разделов Delta с помощью replaceWhere :

Delta позволяет легко обновлять определенные разделы диска с помощью опции replaceWhere.

replaceWhere особенно полезен, когда вам нужно запустить вычислительно дорогой алгоритм, но только на определенных разделах.