У меня есть дата, содержащая временные метки (unix): df = spark.createDataFrame( [ (1527853209,),...

Помогите, пожалуйста, я потерян здесь и я схожу с ума, я новичок в spark-hadoop, и у меня возникла...

Я получаю сообщение об ошибке при запуске программы wordcount .. Я пытался на оболочке Python from...

Мой запрос в hadoop возвращает эту ошибку mismatched input '') as '' expecting ...

Я знаю, что мы можем интегрировать spark с kafka и записать кадр данных в формате ключа и значения...

Вот кадр данных - в основном, есть два возможных типа - X и Y для разных источников A, B, C, D ......

Я не могу развернуть свое веб-приложение на Glassfish.код, который решает эту проблему - это тот же...

У меня есть набор данных, в который данные добавляются почти каждый день, и его необходимо...

У нас есть репозиторий pyspark-jobs, который содержит артефакты zip в S3 после того, как процесс...

У меня есть искровой фрейм с некоторыми значениями null в столбце. Мне нужно сосчитать смежные null...

Сбой десериализации большого KiePackage с java.io.OptionalDataException для большого количества...

Я установил пакет pyspark в pycharma, и теперь я запускаю код pyspark в pycharm. Но я не могу...

Допустим, у меня есть две группы: '1' и '2'. ls = [ ['1', 2], ['2', 7],...

На Dataproc запущено приложение потоковой передачи с плавающей точкой. Я применяю базовую...

У меня есть искровой кластер, и я хочу использовать Livy.Я запустил Livy Server и запустил с ним...

Я хочу выполнить большое матричное умножение C = A * BT и затем отфильтровать C, применяя строгий...

Допустим, датафрейм выглядит следующим образом: ls = [ ['1', -9.78], ['2', 5

Я пытаюсь отправить искра на мастер мезо в режиме клиента. Я использую пример из https://spark

Я устранял неполадки в моем приложении Spark (2.3) и понял, что получаю неправильные результаты,...

У меня есть библиотека Scala, и я создаю оболочку Python поверх нее.Один класс моей библиотеки...

Используя Spark 2.4.3 (модули ядра и sql), использующие Hadoop 1.6.5, я сталкиваюсь с этой...

Я хочу использовать окно, которое вычисляет среднее значение за последние 5 результатов перед...

У меня очень странная проблема, с которой мне действительно нужна помощь. У меня есть данные,...

Spark отлично разбирает JSON во вложенный StructType при первоначальном чтении с диска, но что,...

Я пытаюсь объединить несколько переменных в N корзин в pyspark, основываясь на значении другого...