Скорее всего, ваша ошибка не в операции "show".Это то, что .show запускает выполнение вашего DAG.Вы сказали, что это работает, если вы не запускаете UDF, возможно, у вас просто другая ошибка в этом UDF.Журнал, вероятно, будет на рабочих узлах, поэтому попробуйте получить доступ через пользовательский интерфейс Hadoop, чтобы получить доступ к журналам исполнителя, чтобы увидеть, что действительно нарушает