Я бы хотел сделать очень простую вещь: подключиться к серверу Hive в IBM Analytics Engine с помощью...
Как я могу сохранить значение кадра данных в переменной scala? Мне нужно сохранить значения из...
Почему расширение Serializable не устраняет возникшую ошибку сериализации при вызове? val testRdd =...
Я бы хотел выполнять SQL-запрос параллельно и иметь возможность контролировать уровень параллелизма...
Как выполнить групповое задание по искру sql. Я не могу группировать по одному конкретному столбцу...
У меня есть несколько csvs с разными заголовками. некоторые из них имеют 12 столбцов, некоторые 14...
У меня есть программа Spark, которая преобразует данные тетради кобола в XML, когда я пытаюсь...
Я создал SparkConsumer, чтобы я мог отправить файл CSV в Kafka через Spark Structured Streaming. Я...
Я использую sbt 1.2.8 и sbt-Assembly 0.14.9. Я пытаюсь создать толстый JAR для моего проекта,...
Существует ли решение Spark SQL Only для применения приведения к сложному столбцу, как показано...
Я получаю JSON. Я не знаю, на каких клавишах появится проблема. Когда spark видит разные типы для...
Я новичок в Spark Graphx, есть ли способ поиска соседей по списку vertexId из res? кроме итерации с...
Я использую spark-sql 2.3.1, я установил spark.sql.shuffle.partitions=40 в моем коде ' val...
Я пытаюсь создать SparkConsumer, чтобы в этом случае я мог отправлять сообщения в формате csv на...
Я создаю таблицу феникса со структурой ниже CREATE TABLE IF NOT EXISTS "TEST1"(...
В Spark можно получить первое ненулевое значение после текущего вхождения для столбца в окне: val...
Я новичок в искре. У меня есть датафрейм, как показано ниже. Это пример кадра данных, ID имеет 32...
Я хочу обработать 20 ТБ pdf-файлов в spark с использованием tika таким образом, чтобы на каждый...
Существует ли стандартный способ обработки Hbase как источника искрового потока? Hbase -> Spark...
У меня есть база данных графиков на ArangoDB, у которой глубина узла составляет около 100 уровней и...
Я использую тестирование terasort с искрой на кластере uni, который использует систему управления...
Самое простое решение, которое я могу придумать, - это присоединить к Log4J приложение для журналов...
я пытаюсь разбить строку в столбце DataFrame, используя SparkSQL и Scala, и, кажется, есть разница...
Мы разработали работу, которая обрабатывает и записывает огромное количество файлов в паркет в...
В целях тестирования я настроил кластер из 4 узлов, каждый из которых имеет Spark Worker и MongoDB...