Я создаю приложение Stream Streaming, читаю входное сообщение из темы kafka, сообщение...

Я пытаюсь написать метод (который будет выполняться через исполнителя), который будет возвращать...

Я анализировал разработанный код. Я нашел что-то вроде этого. val newDF = df.repartition(1)

Я выполнил один POC о том, как взаимодействовать с RDBMS [MySQL] напрямую с помощью Apache Spark....

Я пытаюсь запустить sql-запрос hive в приложении spark scala и получаю следующую ошибку «Нет плана...

Здравствуйте, я новичок в потоковом воспроизведении Я хочу изменить фиксированное количество...

Мне нужно знать, возможно ли удалить строки таблицы в Oracle Database с помощью Spark. Как, я хочу...

Попытка записи в существующую таблицу MySQL, возможно, с некоторыми дублированными записями. df

Это сбивает с толку SqlContext и SparkSession, поскольку они оба попадают в одни и те же пакеты, но...

Я пытаюсь прочитать данные из Kafka (1 тема, 5 разделов), используя подход Spark Streaming Direct....

У меня есть датафрейм, состоящий из двух массивов двойных чисел. Я хотел бы создать новый столбец,...

У меня есть ситуация, когда я начинаю с озера данных (1 ТБ), и у меня достаточно эвристики для...

Я использовал Spark ML для преобразований в моем большом наборе данных и хотел бы экспортировать...

Я использую структурированную потоковую передачу в формате spark для чтения темы kafka и хочу...

У меня есть приложение Spark с записями, которые содержат следующую информацию: Хэш - Какой-то...

Я новичок в Streaming Framework Spark и пытался обработать поток Twitter. Я нахожусь в процессе...

Я пытаюсь получить данные с сервера SQL в таблицу Hive, используя Spark в блокноте Zeppelin. Я...

Я пытаюсь использовать Kafka 0.10.2 в моем проекте Spark Streaming (который использует библиотеку 1

Когда я записываю фрейм данных, скажем, в csv, файл .csv создается для каждого раздела. Предположим...

Я пытаюсь масштабировать конвейер структурированной потоковой передачи с помощью API-интерфейса...

Из-за того, что структурированные потоки Spark являются довольно новым API, возникают ситуации,...

Как объяснено в этой статье , Взрыв происходит медленно в scala 2.11.8 и искре 2.0.2 . Не переходя...

Я использую Python 3.5 и Spark 2.2 Streaming с Kafka, и скрипт не удалось запустить из-за...

Я работаю с фреймом данных root |-- c: long (nullable = true) |-- data: array (nullable = true) |...

Возможно получить доступ к сеансу искры, созданному работающим сервером Spark Thrift. Я создал...