Можно ли использовать таблицу Snowflake в качестве источника для искровой структурированной потоковой передачи в Databricks? Когда я запускаю следующий код pyspark:
options = dict(sfUrl=our_snowflake_url,
sfUser=user,
sfPassword=password,
sfDatabase=database,
sfSchema=schema,
sfWarehouse=warehouse)
df = spark.readStream.format("snowflake") \
.schema(final_struct) \
.options(**options) \
.option("dbtable", "BASIC_DATA_TEST") \
.load()
, я получаю это предупреждение:
java .lang.UnsupportedOperationException: снежинка источника данных не поддерживает потоковое чтение
В документах Spark Structured Streaming Docs мне не удалось найти ничего, что бы явно указывало на то, что Snowflake поддерживается как источник, но я хотел бы убедиться, что я не упускаю ничего очевидного.
Спасибо!