Здравствуйте, я хочу иметь дело с большим объемом данных в 1 миллиард строк и 23 столбца. Но в...

У меня есть модель MLLib, сохраненная в папке на S3, скажем, bucket-name / test-model.Теперь у меня...

У меня есть кадр данных, содержащий следующие 3 столбца: 1. ID 2. метка времени 3. IP_Address...

Я пишу японский символ в таблице улья как часть одной из моих программ.Позже, когда я выбираю это...

Я пишу скрипт Scala Spark, в котором я храню (разделы Hive) пути HDFS в качестве ключей, а их...

Я хочу создать среду разработки для запуска приложения Spark, написанного на Scala, для конечной...

Я строю локоть метод, чтобы найти подходящее число кластера KMean, когда я использую Python и...

когда я запускаю код с pyspark в Apache Zeppelin 0.8.1, я получаю сообщение об ошибке типа java

Я скопировал данные и структуру папок для базы данных с разделенными таблицами кустов из одного...

Я пытаюсь загрузить XML-файлы из соединения S3 в задании AWS Glue ETL.Файлы загружаются «правильно»...

Допустим, у меня есть следующий искровой фрейм данных (df): Как видно, в «метке времени» есть...

Я обучил нейронную сеть, используя Keras, и я сохранил ее, используя save_model. Я хочу...

Я пытаюсь запустить свой код Spark, который я написал в Intellij, и запустить его на Databricks,...

Я пытаюсь использовать инструмент AWS Glue ETL для анализа файла CSV в Parquet. Я следую этому...

Я могу успешно проверить приведенный ниже код в кластере EMR с помощью искры. Но я не могу написать...

Я работал с обычным искровым приложением wordcount на Databricks.Чтобы использовать вспомогательную...

Я пытался добавить код Spark в существующий файл паркета, но приложение не работает.Вместо этого...

Выпуск В EMR 5.21 интеграция Spark - Hbase не работает. df.write.options (). Format (). Save ()...

Я добавляю файл metrics.properties в каталог ресурсов (проект maven) с CSV sinc.Все нормально,...

Я пишу Kinesis Consumer, который читает и расшифровывает приведенные ниже сообщения. Это мой...

В PySpark вы можете определить схему и прочитать источники данных с помощью этой предварительно...

Я могу успешно загрузить текстовый файл в DataFrame с помощью следующего кода Apache Spark Scala:...

У меня есть искровое приложение, которое использует не так часто меняющиеся справочные данные. эти...

В моем приложении Spark я использую NaiveBayesModel для классификации текстовых документов....

Я пытаюсь запустить искровое задание в кластере EKS, заставляя его создать 5 рабочих узлов для...