Я хочу рассчитать возраст и из поля DOB. Но в моем коде я тяжело его кодирую. Но нужно делать...
Попытка реализовать алгоритм регрессора дерева решений для некоторых обучающих данных, но когда я...
В настоящее время я построил модель BucketedRandomProjectionLSH, чтобы вычислить сходство данных по...
Я пытаюсь использовать k-кратную перекрестную проверку для настройки регрессивного дерева,...
У меня есть следующая папка с секционированными данными - my_folder |--part-0000.gzip |--part-0001
У меня есть программа Spark, которая запускается локально на моей машине с Windows. Я использую...
Надеясь, что кто-то может помочь пролить свет на это. Я читаю 35Gb .csv с S3. Я ожидал, что он...
В настоящее время я выгружаю данные из таблицы улья в текстовый файл, используя hql. Так как это...
Я новичок в Spark и только начал его использовать. Попытка импортировать SparkSession из pyspark,...
У меня есть обученная модель keras. https://github.com/qubvel/efficientnet У меня большой...
Я пытаюсь загрузить файл с меткой времени в мою таблицу кустов, сохранив фрейм данных в путь hdfs....
Я хотел бы сделать вычисления для получения 5 лучших ключевых слов в каждой стране и внутри метода,...
Я выполняю модульные тесты pyspark с использованием конвейера Gitlab CI / CD, и я получаю...
Предположим, у меня есть следующие два набора данных. Я пытаюсь связать продукты под рукой с их...
Я пытаюсь создать zip-файл из нескольких файлов. Например, у меня есть 3 файла file1 file2 file3 Я...
Я сталкиваюсь с тем, что, я думаю, является основной проблемой, но мне на удивление трудно найти...
Я строю простой сетевой график с PySpark и GraphFrames (работает на Google Dataproc) vertices =...
У меня есть pyspark.sql.dataframe.DataFrame с 1300 строками и 5 столбцами. Я использую следующее...
Я новичок в разжигании и не имею опыта программирования на Java. Я использую pyspark для обработки...
при отправке искрового задания в автономном режиме оно сразу же завершает работу, сообщая об ошибке...
Я конвертирую большой CSV-файл в файл Parquet (pyspark), пока он выглядит хорошо, пока число строк...
Как я могу объединить или объединить статический фрейм данных только с одной строкой в потоковый...
У меня есть следующий набор данных: id email Date_of_purchase time_of_purchase 1 abc@gmail.com...
У меня есть dataframe только из одного столбца. Я хотел бы разбить строку, используя pandas_udf в...
Извините, если это просто, и я упустил что-то простое. Я пытаюсь запустить приведенный ниже код,...