Я использую Zeppelin и пытаюсь проверить, определена ли переменная (мы обычно определяем переменную...

Я столкнулся с этой проблемой при выполнении следующего скрипта . / Spark-submit...

Я должен написать код для потокового воспроизведения (API createDirectStream).Я буду получать около...

У меня есть приложение, которое использует Spark (с Spark Job Server), которое использует хранилище...

В моем коде у меня есть требование, где мне нужно вызывать spark sql для каждой строки dataset....

Я сталкивался с конфигом spark.streaming.kafka.consumer.cache.enabled = false в свойствах нашего...

Я понимаю, что rand() создает столбец со случайными значениями, а orderBy принимает столбец для...

Я потратил некоторое время, пытаясь изо всех сил пытаться запустить сложное искровое приложение...

Фрейм данных 1 Person Work_order email P1 111 123@gmail.com P2 222 123@gmail.com P3 111 123@gmail

Я читаю потоковые сообщения, используя KafkaUtils.createDirectStream и использую commitAsync для...

Привет, сообщество стеков. Я новичок в кодировке Scala и Spark, и я пытаюсь отобразить каждую...

Я использую Spark 2.3.0 и Ignite 2.7.0, я создал собственные схемы в Ignite, используя <property...

Мы читаем информацию о метках времени из файлов avro в нашем приложении.Я нахожусь в процессе...

Я использую простой групповой запрос в scala spark, цель которого - получить первое значение в...

У меня есть фрейм данных pyspark, как показано ниже +--------------------+ | speed|...

Я работаю над набором данных из ~ 100 тыс. Строк в PySpark, и я не хочу конвертировать его в Pandas

У меня есть заказанная тема Кафки только с одним разделом.Я хочу прочитать его из Spark (Spark...

Как запустить режим клиентского кластера JavaSparkContext?Я пытаюсь подключиться к существующему...

Я новичок в программировании и запускаю несколько файлов TSV.gz в RDD или Dataframes.Я хочу...

Я работаю со Spark 2.1 (scala 2.11). Я хочу загрузить строки в формате json с определенной схемой...

Я хочу создать небольшой фрейм данных всего с 10 строками.И я хочу, чтобы этот фрейм данных был...

У меня есть список XML-файлов, содержащих метку времени в имени файла.Мне нужно условно загрузить...

Я выполняю запрос SQL ниже в Spark 2.3, как показано ниже: val dataJoin = s"""SELECT...

Я знаю, как передать структуру с внутренней структурой в UDAF из этого - Передать структуру в UDAF...

Я немного застрял, как получить это значение правильно.Ниже приведены мои образцы данных: col_name...