у нас есть такой сценарий:
мы извлекаем данные из 10 таблиц РСУБД и конвертируем их в фреймы данных в искре.
объединение всех фреймов данных с разными критериями соединения и, наконец, загрузка окончательный результат в таблицу.
мы используем несколько преобразований для достижения окончательного запроса, поэтому DAG и граф происхождения будут огромными, можем ли мы оптимизировать, чтобы сделать граф DAG / lineage меньше?
Спасибо,
Виджей