Я пытаюсь проанализировать пользовательские файлы журнала, используя шаблоны регулярных выражений с...

Мой вариант использования - запись в DynamoDB из приложения Spark.Поскольку у меня ограниченная...

При ссылке на эту ссылку я попытался запросить таблицу cassandra в spark Dataframe val spark =...

Мне интересно, как разделы Kafka распределяются между SimpleConsumer, запускаемым из...

Я запускаю искровое задание с кластером из 4 узлов.Кластер автоматически масштабируется, поэтому...

Я запустил Spark Job и посмотрел результаты на сервере истории.Некоторые из исполнителей отмечены...

Я рассматривал вопрос об изменении yarn.nodemanager.resource.memory-mb на значение, превышающее...

Правильно ли я понимаю документацию для режима клиента? Режим клиента отличается от режима кластера...

У меня есть дата-карта с фреймом данных со столбцом типа карты. Я хочу добавить больше записей на...

мы выполняем несколько заданий одновременно, используя оболочку spark (используя версию 2.1)....

У меня следующий код успешно работает в PySpark: def pd(data): df = data df = df

У меня есть набор данных из 2 полей / столбцов, col1 и col2, и оба типа Array[String].Я собираю...

Я читаю данные из Kafka, используя структурированную потоковую передачу, и мне нужно сохранить...

Мы используем Kafka 0.10 со Spark 2.1, и я обнаружил, что публикация нашего производителя всегда...

Я хочу захватить консольный вывод задания на работу в Oozie.Я знаю, что искровая акция не...

Я пытаюсь Spark Streaming базовое программирование., import org.apache.spark.SparkConf import org

Я много исследовал эту тему. У меня есть набор данных размером 3 ТБ. Ниже приведена схема данных...

У меня есть кадр данных, как показано ниже, я пытаюсь получить максимальную (сумму) для имени...

Я перехожу по ссылке https://github.com/citiususc/SparkBWA для установки SparkBWA: git clone...

Я пытаюсь запустить потоковую работу искры на оболочке искры, localhost.Следуя коду из здесь , это...

Я хочу запустить sql для своих данных паркета в spark, используя следующий код, val parquetDF =...

SPARK 2.3 выбрасывает следующее исключение. Может кто-нибудь, пожалуйста, помогите! Я попытался...

У меня есть фрейм данных, в котором есть 3 столбца x, y и z.Я хочу получить все три столбца в...

У меня около 8 миллионов строк данных и около 500 столбцов. Когда я пытаюсь записать его с помощью...

Вот пример кода spark-shell --master yarn val hive_location = "hive_meta_loc" val spark...