У меня есть данные, прочитанные Кассандрой, на которых записано 1 миллион записей.Мне нужно загрузить концентраторы событий.Поскольку в концентраторах событий существует верхний предел, он недостаточно быстр.Поэтому я подумал, что нужно загружать несколько концентраторов событий.
json.select("body").write.format("eventhubs").options(eventhubConfig.toMap).save()
Так что я могу одновременно передавать 1 конфигурацию концентратора событий.Таким образом, разделение данных должно помочь, но это происходит один за другим, то есть другой df обрабатывается после первого.
Предложите решение, в котором я смогу писать в несколько концентраторов событий параллельно.Я пытался вставить строку, но она довольно медленная.