Я пытаюсь создать таблицу в красном смещении, используя некоторые столбцы из другой таблицы и используя функцию pyspark 'df.withcolumn', чтобы добавить новый столбец. Мне нужно создать столбец "вставлен_время" для записи метки времени, когда вставка выполняется в таблицу.
Обычно мы используем триггер / процедуру для достижения этого в базе данных rdbms.
Но как сделать то же самое, используя код pyspark. Пожалуйста, руководство по тому же.