У меня есть 2 идентичных сеанса spark 2.3.1, чтобы использовать spark sql для одновременной перезаписи одной и той же внешней разделенной таблицы партера на s3.Счетчик строк таблицы фактически дублируется в конце, и я не вижу, выполняю ли я тот же оператор в кусте.Я попытался сохранить в виде таблицы кустов, сохранить в путь и т. Д., Но все они в итоге повторяют одно и то же.
Это известная проблема с искрой или какие-либо настройки, которые я могу применить к «эксклюзивному доступу» во время операции записи.
Заранее спасибо.