Я работаю над записью в Microsoft SQL Server с использованием Spark из куста, процесс работает с большой скоростью.
Но есть большая проблема, что каждая задача до завершения не фиксирует - которая использует журнал транзакцийбазы данных и может повлиять на другие выполняющиеся задания.
Мне нужно иметь какой-то способ коммитов через регулярные промежутки времени (10000 К или около того).Может кто-нибудь подсказать, как это можно сделать?