Интересно, есть ли где-нибудь список всех свойств, связанных с потоковой структурой с искрой?
Например, в документе мы можем найти:
spark.sql.streaming.schemaInference
spark.sql.streaming.metricsEnabled
Когда я делаю spark.sql("SET -v").show(numRows = 200, truncate = false)
как рекомендовано в документации по настройке через spark sql, единственное, что я вижу:
spark.sql.streaming.numRecentProgressUpdates
spark.sql.streaming.metricsEnabled
spark.sql.streaming.checkpointLocation
Однако я не вижу ***spark.sql.streaming.schemaInference***
Отсюда мой вопрос, каков консистентный способ увидеть все свойства, которые можно использовать для настройки поведения потоковой структурированной искры. Являются ли свойства потоковой передачи Spark частью всего, что относится к поведению структурированной потоковой передачи Spark? Я заинтересован в управлении скоростью для каждой мини-партии (то есть мини-фрейм данных, то есть число строк на обработку)