Я пытаюсь объединить все фреймы данных, которые у меня есть, используя следующий код, а затем сортировать результирующий фрейм данных в порядке убывания на основе метки времени столбца.
dfs = [df1, df2, df3]
df_final = reduce(DataFrame.union, dfs).sort(col('timestamp').desc())
Задание искры не заканчивается и просто застревает здесь, в чем может быть проблема? Я запускал тот же код ранее около 3 дней go, и он работал нормально. Теперь это не заканчивается по некоторым причинам. Там также не отображается ошибка. Я пытался использовать unionByName(), даже это дает те же проблемы. Как мне go об этом?
Вот как выглядят фреймы данных,
+---------+---------+-----------------------------------------------------------------------------------------------------------------------------------------------------+-------------------+
|attribute|operation|params |timestamp |
+---------+---------+-----------------------------------------------------------------------------------------------------------------------------------------------------+-------------------+
|profile |UPDATE |[member_id -> cqhi6k5lby43pr3iethfmcp8sjq7_STG, easy_id -> 993270334, field -> password_hash, member_uuid -> 027130fe-584d-4d8e-9fb0-b87c984a0c20] |2020-02-11 19:15:32|
|profile |UPDATE |[member_id -> cqhi6k5lby43pr3iethfmcp8sjq7_STG, easy_id -> 993270334, field -> password_hash, member_uuid -> 027130fe-584d-4d8e-9fb0-b87c984a0c20] |2020-02-11 19:07:34|
+---------+---------+--------------------------------------------------------------------------------------------------------------------------+-------------------+
|attribute|operation|params |timestamp |
+---------+---------+--------------------------------------------------------------------------------------------------------------------------+-------------------+
|member |CREATE |[member_id -> h4m015wf1qxwrogj6d9l2uc5bsa9_STG, easy_id -> 993270331, member_uuid -> ea8e7e39-4a0a-4d41-b47e-70c8e56a2bca]|2020-01-02 09:51:32|
|member |CREATE |[member_id -> oeip31lpid9cexl9o5asip92idh7_STG, easy_id -> 993270336, member_uuid -> 9e65124b-cb16-4803-b74d-c0b6a3cb083a]|2020-01-01 10:31:32|
+---------+--------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------+
|attribute|operation |params |timestamp |
+---------+--------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+-------------------+
|profile |CREATE_CARD |[member_id -> 1s9miu7t6an50fplvvhybow6edx9_STG, easy_id -> 993270335, created_by -> kobo, card_token -> 8236961209881953, member_uuid -> 50d966f2-2820-441a-afbe-851e45eeb13e] |2020-02-24 03:07:04|
|profile |CREATE_CARD |[member_id -> ajuypjtnlzmk4na047cgav27jma6_STG, easy_id -> 993270327, created_by -> beats, card_token -> 9000141161458480, member_uuid -> 2dec548e-681d-11ea-bc55-0242ac130003] |2020-01-11 02:01:53|