Используя spark-cassandra-connector_2.11: 2.4.0, ниже приведены настройки
spark.cassandra.output.concurrent.writes=1,
spark.cassandra.output.throughput_mb_per_sec=0.001, (I also tried 0.01, 0.0001, 0.00001)
spark.cassandra.output.batch.size.bytes=512
Насколько я понимаю, каждая задача должна быть ограничена выводом 0,001 МБ / с, около 1 КБ / s . Тем не менее, медиана задачи выводит 820KB за 20 секунд , что означает 41kb / s .
Означает ли это, что конфигурация не работает?
