Я хотел бы знать, возможно ли определить логику репликации, чтобы перетасовать блоки без использования постоянного действия.В сценарии использования используется сложный SQL с несколькими объединениями, для которого требуется большое количество перемешиваний, сохраняемых на рабочих машинах (с разделением), а для потери машины могут потребоваться повторные этапы (с использованием dag), которые требуют больших затрат и не всегда работают.
Может ли это быть сделано с помощью конфигурации или путем наследования от некоторого класса в контексте искры.
Версия Spark 2.3