Структурированные потоки данных со Снежинкой в ​​качестве источника? - PullRequest
0 голосов
/ 20 февраля 2020

Можно ли использовать таблицу Snowflake в качестве источника для искровой структурированной потоковой передачи в Databricks? Когда я запускаю следующий код pyspark:

    options = dict(sfUrl=our_snowflake_url,
              sfUser=user,
              sfPassword=password,
              sfDatabase=database,
              sfSchema=schema,
              sfWarehouse=warehouse)

    df = spark.readStream.format("snowflake") \
              .schema(final_struct) \
              .options(**options) \
              .option("dbtable", "BASIC_DATA_TEST") \
              .load()

, я получаю это предупреждение:

java .lang.UnsupportedOperationException: снежинка источника данных не поддерживает потоковое чтение

В документах Spark Structured Streaming Docs мне не удалось найти ничего, что бы явно указывало на то, что Snowflake поддерживается как источник, но я хотел бы убедиться, что я не упускаю ничего очевидного.

Спасибо!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...