Используйте sparkSession. Когда я читаю файл паркета, я получаю следующую ошибку: мой код: val df =...

У меня есть два следующих кадра данных df1 +--------+----------------------------- |id | amount |...

Я довольно плохо знаком с scala и spark, но у меня большой опыт работы с Python и другими языками.У...

мои входные данные хранятся в Cassandra, и я использую таблицу, первичным ключом которой является...

Я знаю, как получить jobID / ApplicationID от sparkContext.Есть ли способ получить jobID /...

У меня есть фрейм данных, который я записываю в таблицу Hive с использованием partitionBy - val df...

Или просто для простоты понимания, у меня есть фрейм данных. DataPartition TimeStamp OrganizationID...

Я получаю логи в формате log4j, обрабатываю их и сохраняю в Spark. Я не в кластерной или...

У меня есть два кадра данных. Фрейм данных один...

У меня есть два кадра данных. df1 +--------+------------------- |id | amount | fee | |1 | 10.00 | 5

Я пишу это не для того, чтобы задать вопрос, а для того, чтобы поделиться знаниями. Я использовал...

Я делаю некую агрегацию на созданном мною кадре данных. Вот шаги val initDF = spark.read

У меня есть приложение для потоковой передачи с искровым структурированием (прослушивание kafka),...

как прочитать таблицу кустов транзакций орков в spark? Возникла проблема при чтении таблицы...

У меня есть следующий DataFrame df: url user date followers www.test1.com A 2017-01-04 05:46:00 45...

Это кажется простой задачей, но я не могу понять, как это сделать с помощью Scala в Spark (не...

В основном я передаю динамические значения в pyspark SQL. Мой код подробно описан ниже: set_sql =...

У меня есть Dataset DS1 ниже. Я хочу собрать DS2 с использованием Spark Java API. DS1:...

Я пытаюсь выполнить пользовательскую агрегацию при структурированной потоковой передаче с оконным...

У меня есть два кадра данных DF1 и DF2 с id в качестве уникального столбца, DF2 может содержать...

String[] col = {"a","b","c"} Данные: id a b c d e 101 1 1 1 1 1 102 2...

Фрейм данных...

В pysparkSQL у меня есть DataFrame с именем bmd2, например: DataFrame[genres: string, id: int,...

У меня есть следующий код: - var ArrayStop = new ArrayList[imeistoppage]() val listings =...

Я хочу иметь возможность передать условие соединения для двух фреймов данных в качестве входной...