У меня есть датафрейм с двумя столбцами с данными, как показано ниже +----+-----------------+...

Извините за вопрос noob, у меня в SparkSQL есть такой фрейм данных: id | name | data...

Как я могу обновить столбец m_name с помощью алгоритма Левенштейна, чтобы заменить нули?...

Мне нужно иметь возможность зарегистрировать udf из строки, которую я получу от веб-службы, т.е. во...

Я пытаюсь создать постоянную функцию в spark, используя geomesa-spark-jts. Geomesa-spark-jts имеет...

Я читаю записи вызовов из файла и преобразую их в столбцы в кадре данных. Как я могу преобразовать...

У меня есть два кадра данных: edges = srcId dstId timestamp 1 4 1346564657 1 2 1345769687 2 4...

Когда я запускаю локальную программу spark2x из eclipse, я получаю сообщение об ошибке: Исключение...

образец линии: { "расширение": "имена, схемы", "centralid": 10, "centralloc": "Балх", компоненты: [...

Я работаю с фреймами данных в Scala в банковском процессе, и мне нужно удалить некоторые строки,...

У меня есть набор данных только с одним столбцом типа Array[String]. +------------------------+ |...

У меня есть датафрейм в следующем формате: id text 1 Amy How are you today? Smile 2 Sam Not very...

Я использую версию spark 2.1.1.и когда я читаю файл в DataFrame и перераспределяю его позже,...

Объясните связь между библиотеками, такими как SparkSQL, MLib, GraphX ​​и Spark Streaming, и...

Я искал способ добавить свои необработанные (JSON) данные в виде столбца при чтении моих данных в...

У меня есть потоковый фрейм данных, созданный с использованием искровой структурированной потоковой...

У меня есть представление, где я объединяю несколько таблиц.В представлении есть предложение where

У меня есть следующий фрейм данных. key | value inv_1_c | 5 inv_1_v | 8 inv_2_c | 9 Я хотел бы...

Я использую Spark SQL для запуска многих sqls. Моя цель - запрограммировать, чтобы получить...

В Spark, пытающейся выполнить «частичную» оконную функцию. Предоставление схемы eventId,...

У меня есть таблица с колонкой «customerId» и колонкой «классификация в: еженедельный покупатель,...

Я запускаю приведенный ниже код и после чтения нескольких RDD из Kafka я получаю эту ошибку...

Чтобы перебрать столбцы в Spark Dataframe, созданном из таблицы Hive, и обновить все вхождения...

Я сталкиваюсь со следующей ошибкой при выполнении команды spark-submit только в режиме искрового...

Фон Я сглаживаю вложенную схему для данного Spark DataSet, сначала создав сопоставление конечных...