Я получаю эту ошибку при выполнении большого количества запросов Spark SQL.В запросах много...

У меня есть таблица columnstore в MemSQL, схема которой аналогична приведенной ниже: CREATE TABLE...

Я пытаюсь портировать приложение Apache Flink (scala) на структурированную потоковую передачу Spark

Spark RDD имеет вариацию снижения, называемую treeReduce, которая очень эффективна, поскольку...

У меня есть библиотечная функция, которая возвращает составной объект, содержащий генераторы,...

У меня есть файл, разделенный запятыми, без заголовка, с различным количеством элементов в каждой...

У меня есть задание Apache Spark, которое записывает набор данных паркета в хранилище BLOB-объектов...

Не удалось выполнить задание My Spark Streaming со следующим исключением Диагностика: Контейнер...

Я записываю свой фрейм данных искровой потоковой передачи в виде файла паркета в моей HDFS.Я создал...

Я работаю с потоковой передачей и не хочу обрабатывать старые файлы, когда новый потоковый файл...

Использование PySpark. Follow : я думаю, что мне нужно только знать, как выбрать n элементы после...

Я использую разорванный канал (¦), значение ascii = \ u00A6, в качестве разделителя при сохранении...

У меня есть приложение Spark Streaming, которое считывает имена таблиц Hive в записях Kafka,...

Я пытаюсь настроить поступление данных Кафки в реальном времени в HBase через PySpark в...

Мои данные таковы: +---+---------+ | id|cate_list| +---+---------+ | 0| a,b,c,d| | 1| b,c,d| | 2| a...

Я провел следующий эксперимент. Запрос 1: select f1, f2 from A where id = 10 limit 1 | f1 | f2 |...

Я бы хотел использовать концепцию потоковой обработки для чтения файлов из локального каталога и...

Использование Pyspark 2.2 У меня есть спарк DataFrame с несколькими столбцами.Мне нужно ввести 2...

Следующий код можно использовать для фильтрации строк, которые содержат значение 1. На изображении...

Я пытаюсь настроить Hive on Spark на одной маленькой виртуальной машине (4 ГБ ОЗУ), но не могу...

Общий обзор моей цели: мне нужно найти файл (ы) (они в формате JSON), которые содержат определенный...

У меня есть RDD как List((a,b),(b,c)) List((d,e)) Как я могу получить его как (a,b) (b,c) (d,e) Я...

У меня есть сценарий, где нужно выполнить запрос для каждой записи из кадра данных.Я бегу в...

Я использую Apache Toree ядро ​​scala для Jupyter Notebook, в котором используется конфигурация...

Это может быть глупый вопрос, но я не могу понять, как файлы распределяются по разделам.Мое...