Я пытаюсь переместить данные из таблицы: system_releases из Greenplum в Hive следующим образом: val...

В Spark устойчивые распределенные наборы данных (RDD) - это API-интерфейсы низкого уровня, а фреймы...

Я использую PySpark (на AWS Glue, если это имеет значение).Я получаю ошибки тайм-аута: (кажется, он...

Я опытный программист Python, пытающийся перевести некоторый код Python в Spark для задачи...

Я выполнил работу Spark сегодня и столкнулся с каким-то необычным поведением, которого раньше не...

У меня есть набор данных, имеющий следующую структуру....

У меня есть работающая настройка кластера Hadoop с поддержкой Yarn, и я создал отдельное приложение...

Для данного кадра данных в этом формате: { "field1": "value1",...

У меня есть поток данных, содержащий идентификатор, тип и значение: Для группы пользователей с...

Я пытаюсь перенести код из Spark 1.3 в Spark 2.4. Код написан на Java. Код записывает в паркет...

Я столкнулся с этой проблемой уже несколько дней, когда я запускаю приложение Spark и просматриваю...

Я пытаюсь переместить данные из GP в Hive с помощью искрового соединителя greenplum jar:...

Я получаю сообщение об ошибке в zeppelin org.apache.spark.SparkException: задание прервано. с...

У меня проблемы с несовместимостью Countvectorizer пакета функций ml.Когда я воспроизводю...

как я могу найти вхождение совпадающей строки согласно приведенному ниже фрагменту кода, я могу...

Обнаружение Spark-раздела не разбивает данные на основе структуры папок У меня есть каталог с...

У нас есть данные за 1 месяц, и каждый день имеет данные размером, который находится в диапазоне от...

Я получил фрейм данных (df) этого формата. df.show() ******************** X1 | x2 | X3 | ..... | Xn...

У меня довольно простой DataFrame. val df = Seq( ("Alex", "2018-01-01 00:00:00"...

У меня есть сценарий использования, когда я пишу пакетное задание Мне нужно прочитать тему Кафки и...

Как убить задание Spark с именем задания в автономном кластере?Как перечислить идентификаторы...

Я в настоящее время использую Ubuntu, и тот же самый искровой запрос успешно выполняется на моей...

Сначала у меня было salesList: List[Sale], и чтобы получить идентификатор последней продажи в...

Попытка разбить строку в sparklyr, а затем использовать ее для объединений / фильтрации. Я...

Учитывая, что у меня есть фрейм данных с некоторыми столбцами: Почему это не работает? val output3b...