При использовании Spark 2.3.2 и Spark-SQL следующий запрос 'b' завершается неудачно: import spark

Я пытаюсь включить оператор Try (). GetOrElse () в свой оператор выбора для DataFrame Spark.Проект,...

Следующий код выдает следующую ошибку: ОШИБКА: при вводе токенизации произошла непредвиденная...

У меня есть набор файлов в корзине S3 с этим шаблоном myfile_2018_(0).tab myfile_2018_(1).tab...

У меня есть проект Java, который представляет собой веб-сервис, который построен на Maven.Я хочу...

У меня есть таблица, как показано ниже: user_id email u1 e1, e2 u2 null Моя цель - преобразовать ее...

У меня есть такие данные в формате JSON: { "data": [ { "id":...

Я читаю сообщения от Кафки в приложении Spark Streaming. Продолжительность SparkBatch: 15 сек

Я использую Apache Oozie для планирования некоторых приложений Apache Spark.Я читаю больше...

Можно ли настроить spark (версия 2.3.1) для пропуска отсутствующих файлов s3.Прямо сейчас он выдает...

Я хочу объединить две tables A and B и выбрать для каждого значения записи с максимальной датой из...

Я определил функцию: def setJsonPushIndex(spark: SparkSession, currentdate: String, jsonPushInfo:...

Как найти зарплату в пределах диапазона?Вот мой код данных Spark SQL для определения зарплаты между...

Я использую spark-sql для проекта переноса данных.Итак, как мне реализовать площадку в искре?когда...

У нас есть потоковый поток Spark Structured, использующий mapGroupWithState.Через некоторое время...

Моя цель - создать rdd с сообщениями об ошибках в файле журнала.Я читаю файл журнала и фильтрую...

У меня есть файл CSV, где последний столбец находится внутри скобок, а значения разделены запятыми

У меня есть Spark-приложение, которое объединяет 11 таблиц.В основном, для денормализации таблицы...

Как добавить один или несколько столбцов в spark-sql? в oracle, мы делаем select name,...

У меня есть таблица улья с полем даты. +----------+------+-----+ |data_field| col1| col2|...

https://www.youtube.com/watch?v=8fxkAfxfxrs вводит функции более высокого порядка.Тем не менее, как...

Я пытаюсь получить индекс максимальных значений в строке из кадра данных Spark.Это просто, чтобы...

У меня есть набор данных с более чем 5000 столбцами, и исключение OutOfMemoryException выдается при...

Как сделать ветвление в конвейере заданий Spark, если мой логический конвейер выглядит следующим...

Короче говоря, я разработчик, пытающийся использовать Spark для перемещения данных из одной системы...