Как выполнить агрегацию без сохранения состояния в Spark с использованием структурированной...

Например, необработанный кадр данных выглядит следующим образом: +--------+--------+ | col1| col2|...

Я хочу запустить несколько параллельных SQL в одном кластере, чтобы я мог использовать весь...

Я пытаюсь найти определенную строку из очень большого файла журнала. Я могу искать строку. Теперь,...

Я создаю пустой фрейм данных и позже пытаюсь добавить к нему другой фрейм данных. На самом деле я...

Я использую Streaming для получения записей о звонках от брокера Kakfa каждые 10 минут. Я хочу...

Я использую spark stream (scala) и получаю записи звонков клиентов в колл-центр через kafka через...

Это расширение этого вопроса, Группа Apache Spark путем объединения типов и подтипов . val sales =...

У меня есть этот набор данных в искре, val sales = Seq( ("Warsaw", 2016,...

У меня есть набор данных, как показано ниже: файл: test.txt 149|898|20180405 135|379|20180428...

У меня есть два кадра данных df_data и df_node_labels: df_data = nodeId field1 1 abc 2 def 3 fed 4...

У меня есть одна большая таблица или фрейм данных, который содержит более 50 миллионов записей и...

Я загрузил свои данные в фрейм данных Spark и использую Spark SQL для дальнейшей обработки. Мой...

Фрейм данных имеет только один столбец «возраст» и содержит 140 миллионов строк. Например, df

Я всегда думал, что API набора данных / фрейма данных одинаковы ... и единственное отличие состоит...

У меня проблема при чтении файла изображения из HDFS и использовании класса ImageSchema...

Я хотел бы преобразовать RDD, содержащий записи строк, как показано ниже, в фрейм данных Spark....

Функция PostgreSQL ARRAY_TO_STRING() позволяет запускать SELECT array_to_string(ARRAY[1, 2, 3, NULL...

У меня есть DataFrame со столбцом MapType, и я хочу отфильтровать строки, которые не содержат...

Использование Spark 2.2 + Java 1.8 У меня есть два пользовательских типа данных "Foo" и "Bar"....

У меня есть DataFrame df со следующей структурой: root |-- author: array (nullable = true) | |--...

Я пытаюсь запустить искровой sql-тест для таблицы улья, используя Spark Java API. У меня проблема с...

У меня есть задание Spark, написанное на Python, которое получает странное поведение при проверке...

Я пытаюсь перенести одно из моих приложений из RDD в набор данных. Бизнес-логика сильно зависит от...

У меня есть Spark Data Frame, несколько столбцов 2 из которых называются записанные_ц и тс....