У меня есть Azure Eventhub , который выполняет потоковую передачу данных (в формате JSON). Я читаю...
У меня есть DataFrame, который содержит столбец массива. Мне нужно выполнить некоторые...
У меня очень большие данные в MongoDB, которые растут день ото дня, поэтому я не могу обрабатывать...
В основном я выполняю структурированное потоковое задание 24 x 7, записывая в S3. Но натолкнулся на...
Я пытаюсь применить pandas udf к окну структурированного потока pyspark. Проблема в том, что как...
Я хочу рассчитать совокупное количество значений в столбце фрейма данных за последние 1 час,...
Я выполняю задание Spark Structured Streaming в Databricks. В качестве источника используется Azure...
Я получаю предупреждения и ошибки при запуске структурированной потоковой передачи на кластере K8s....