В настоящее время у меня есть программа, которая использует данные эластичного поиска с...
Я использую kafka connect cassandra source connector 1.0 version.У меня есть столбец десятичного...
Я пытаюсь найти минимум, максимум каждого поля, полученного из оператора sql, и записать его в файл...
В документе для структурированной потоковой передачи используйте withWatermark в API набора данных...
Вот несколько больших файлов, приходящих через день, не очень часто, 2-3 раза в день, и они...
Я новичок в теме потоковой передачи.Таким образом, возникает проблема при расчете различного числа...
У меня есть фрейм данных «емкость»: scala> sql("create table capacity (id String, capacity...
У меня есть искровой СДР, как показано ниже (maths,60) (english,65) (english,77) (maths,23) (maths...
Возникла проблема при чтении файла test2.csv в pyspark. Тестовый файл test1.csv a1^b1^c1^d1^e1...
В spark dataFrame, как обрабатывать поврежденную запись?На самом деле, я ищу поврежденную запись,...
В моем искровом коде я собираю небольшой объект в драйвере из кадра данных.Я вижу следующее...
Я новичок в scala и пытаюсь создать из пары Tuple RDD типа Array (Array [String]), который выглядит...
Я либо не знаю, что я ищу, либо отсутствует документация. Последнее, кажется, имеет место, учитывая...
Мой столбец col1 является массивом. Я знаю, что col1.getItem(2) позволяет получить доступ ко...
Я настроил кластер HDInsight Spark с пакетом безопасности предприятия (для многопользовательского...
Я хотел бы разделить СДР по ключу и иметь, чтобы каждый раздел содержал только значения одного...
Я пытаюсь настроить автоматическое масштабирование для наших заданий Spark Streaming, выполняющихся...
Pyspark: Можно ли установить / изменить длину столбца кадра данных искры при записи DF в целевой...
У меня есть скрипт Hive Query, и я хотел запустить его в режиме командной строки в Unix. Есть ли...
Я установил искру на мой Mac с помощью домашнего варки.Я пытаюсь найти каталог, где я его установил
В структурированной потоковой передаче Spark, когда входящая запись из S3 не совпадает со схемой,...
PMML, Mleap, PFA в настоящее время поддерживают только преобразования на основе строк.Ни один из...
У меня есть итеративная функция, которая генерирует некоторые данные, которые я хочу выводить в СДР
У меня есть несколько заданий Spark, которые записывают данные и читают данные из S3. Время от...
Время от времени, когда я отправляю искровое задание в кластер Google Kubernetes, я получаю 401...