Я использую memsql-spark-connector 2.0.6 в приложении Spark Structured Streaming. val map:...

Я работаю с программой искры, которой необходимо постоянно обновлять некоторые СДР в цикле: var...

Я новичок в Spark SQL и использую объяснение, чтобы узнать, как он может оптимизировать код.Я...

Я использую структурированную потоковую передачу с Kafka.В HDFS хранится около 10 различных моделей...

Как лучше всего сравнить два файла csv (миллионы строк) с одной и той же схемой со столбцом...

Очевидно, что нет встроенной поддержки приемника Cassandra в потоковой передаче Spark.Я нашел этот...

У меня есть фрейм данных pyspark: ABC 1 NA 9 4 2 5 6 4 2 5 1 NA Я хочу удалить строки, содержащие...

Мне интересно, что вы испытываете, когда запускаете сложные запросы SQL с несколькими объединениями...

В настоящее время мы изучаем Apache Spark (с Hadoop) для выполнения крупномасштабного...

У меня есть две таблицы / фрейма данных: A и B A имеет следующие столбцы: cust_id, purch_date B...

У меня есть огромная таблица, которую я загружаю из RedShift в csv-файл на S3, используя блокнот...

Многие обсуждения, которые я обнаружил в Интернете по поводу распределения ресурсов, были посвящены...

Я выполнил следующее предложение выбора для таблицы HIVE в редакторе HUE и получил результат ниже....

Я уже погуглил и знал, что случайный разлив (память) - это размер десериализованной формы данных в...

Я пытаюсь создать дочерний фрейм данных из родительского фрейма данных.но у меня есть более 100...

Я новичок в экосистеме больших данных.Я пытаюсь установить Apache Spark, но в учебных руководствах,...

Мое искровое приложение уже давно запущено. Сцена застряла в 199/200, как показано на рисунке....

Я использую: EMR 5.20 Zeppelin 0.8.0 Spark 2.4.0 Мне удалось добавить интерпретатор Redshift, но я...

У меня есть udf как часть импорта, и я использую его в своем искровом коде spark

Я довольно новичок в scala, поэтому любые советы / основы приветствуются.Я пытаюсь получить доступ...

Как я могу использовать posexplode в искрах withColumn оператор? Seq(Array(1,2,3)).toDF

Ситуация, подобная этой: val lines = readKafka .... lines.foreachRDD { ... // transformation ... //...

У меня есть датафрейм, который содержит последовательность строк.Я хочу перебирать строки по...

Я использую pyspark [spark2.3.1] и Hbase1.2.1, мне интересно, как лучше всего получить доступ к...

zkUrl просто настройте одного зоопарка ip:port.Как я могу настроить mutiple ip:port spark