Я использую Zeppelin 0.7.3 с Spark 2.3 в режиме клиента пряжи. Мои настройки: Spark: spark.driver

У меня есть запрос, который я выполнял в экономном порядке, который занимает очень много времени. Я...

Я попытался это решение, чтобы проверить, если строка в подстроке: val reg = ".*\\[CS_RES\\]

я пытаюсь получить последний токен полного пути к файлу, и мой код выглядит как val testUdf = spark

Я - новый корд Scala, у меня есть функция flatMap, которая возвращает объект FlatMappedDStream, это...

Я запускаю простое задание зажигания на кластере YARN и мою конфигурацию для yarn-site.xml...

Мой UDF сравнивается, если разница во времени между двумя столбцами не превышает 5 дней. Если...

У меня есть данные в следующем формате: +---------------------+----+----+---------+----------+ |...

Так что вопрос в теме. Я думаю, что я не правильно понимаю работу передела. По моему мнению, когда...

Есть ли способ динамически масштабировать объем памяти модуля Pod в зависимости от размера задания...

Я могу заполнить столбцы числового и строкового типа, используя: masterDF = masterDF.na.fill(-1)...

По отношению к памяти кучи. Spark потребляет больше кучи памяти сравнительного Hadoop. Пожалуйста,...

У меня есть задание Spark 2.2, написанное в pyspark, которое пытается прочитать 300BT данных...

Я установил многоузловой кластер HDP с Spark и Yarn на EC2 Все узлы являются узлами данных. Node3...

Я реализовал внутреннее соединение, используя Java API Spark. Ожидается, что из двух наборов данных...

У меня проблема при попытке загрузить файл ORC / Parquet в spark (2.2), который находится по пути,...

У меня есть 2 набора данных, и я хочу создать набор данных объединения, поэтому я сделал...

Для справки: я решил эту проблему, добавив Netty 4.1.17 в hadoop / share / hadoop / common...

Я запускаю искровые задания на Yarn на EMR 5.14 (hadoop 2.8.3). Могу ли я использовать улучшенную...

1 потоковое и Kafka брокер версии 0.8.2.1, у меня есть отдельные серверы для спарк и кафка на AWS....

У меня искровой структурированный поток, как - Обратите внимание, что есть и другие столбцы, но я...

У меня есть список искровых фреймов данных, и я должен выполнить с ними некоторую операцию Я хочу...

Я создал образ докера моего приложения, когда я просто запускаю его из скрипта bash, он работает...

У меня есть 2 кадра данных. df1: |AusID|ProjectId| +-----+---------- |529 |20034 | |973 |20035 |...

Я видел много статей о памяти / ядрах / экземплярах исполнителя, но я все еще не понимаю, что мне...