У меня проблемы с получением значения из строки JSON с использованием регулярного выражения в искре

Я использую spark-sql-2.4.1 с spark-cassandra-connector-2_11.jar Я пытаюсь присоединиться к...

Есть ли способ пропустить проверку запроса в кусте при создании представления? Используя beeline я...

Я собираю значения одного столбца из отдельного dataFrame и добавляю их в отдельный список, как...

У меня есть датафрейм с искрой, как показано ниже. Я пытаюсь разбить столбец на еще 2 столбца: date...

При преобразовании из VARBINARY в STRING мне интересно, взаимозаменяемы ли операции CAST (... в...

val postsQuantiles = posts.stat.approxQuantile("_score", Array(0.25, 0.75), 0.0) сбой со...

Я пытаюсь развернуть искровое задание в искровом кластере, и мне кажется, что возникла проблема с...

Ошибка JSON вложенного SQL Spark: { "xxxDetails":{ "yyyData":{ "0":{...

Я новичок в pyspark, и у меня возникают проблемы с преобразованием функций python в pyspark udf. У...

Я пытаюсь удалить некоторые записи из таблицы hbase на основе отдельного фрейма данных искры,...

У меня есть фрейм данных с 432 столбцами и 24 дубликатами столбцов. df_tickets -> 432 столбца...

У меня есть файл CSV, содержащий несколько слов. Всего № слов в файле csv не будет превышать 50 тыс

Использование libs, spark-cassandra-connector_2-11.jar и spark-sql-2.4.1.jar Есть таблица Cassandra...

При записи данных в Bigquery с помощью коннектора spark bigquery. Я сталкиваюсь с этой проблемой....

У меня есть такой фрейм данных, показано только два столбца, однако в исходном фрейме данных много...

У меня есть Spark DataFrame, значения строк которого я хотел бы преобразовать в один столбец. Это...

Я попытался разделить фрейм данных Spark по столбцу отметки времени update_database_time и записать...

После того, как я отсортировал все записи и использовал функцию write() для S3, я хочу...

Я «переводю» код Python в pyspark.Я хотел бы использовать существующий столбец в качестве индекса...

Я создаю столбец time_interval и добавляю его в существующий фрейм данных в Pyspark . В идеале...

Я хочу прочитать RDD[String] с помощью устройства чтения CSV. Причина, по которой я это делаю,...

Я пытаюсь обработать запрос в Presto с использованием JDBC и передать набор результатов обратно в...

Я пытаюсь показать различия между двумя различными наборами данных и эффективно. Мне нужно...

Я пытаюсь сохранить набор структурированных паровых данных в заданную таблицу Кассандры. Я...