Я пытаюсь написать искровой фрейм данных, имеющий 23 миллиона строк, с фреймом данных, имеющим 0,5...

У меня есть работа ETL, занимающая много ресурсов процессора и памяти и работающая в течение...

Я намекаю на случай, когда входные данные сильно искажены до того уровня, когда имеется огромное...

Я пытаюсь запустить datanode на новых рабах, чтобы добавить их в живой кластер hadoop.Но не удалось...

Я успешно создал внешнюю таблицу кустов из источника данных druid. CREATE EXTERNAL TABLE...

Я новичок в обработке S3 Bucket.Я запускаю свои сценарии кустов, работающие в ec2-insctance, и его...

Работа с файлом на HDFS, который содержит различное количество полей, разделенных ','.Например:...

Здравствуйте, я только что загрузил тот же вопрос вчера, но мое объяснение было плохим. Apache...

У меня есть номера клиентов, некоторые из которых длиннее 8 цифр.Как я могу пометить их, чтобы они...

Запустив Spark и используя Spark UI, все работает нормально.После того, как мастер работает в...

У меня возникают проблемы при попытке сгруппировать значения по ключу в Alibaba MaxCompute.Я...

У меня ошибка при установке Hadoop (2.6.5). Я не смог разобраться и решить эту проблему.Почему...

Я настроил кластер Hbase с двумя узлами, и я заметил предупреждение «AssignmentManager: STUCK...

Я попытался создать таблицу ульев на основе mongodb, следуя инструкциям в https://github

В HDFS секционированные данные хранятся в виде нескольких файлов, таких как...

У меня кластер из 6 узлов - 5 DN и 1 NN.Все имеют 32 ГБ оперативной памяти.Все рабы имеют жесткий...

Я настроил tez 0.8.4 поверх Hadoop 2.7 и запускаю на нем несколько tez-заданий.Мне нужны файлы

Установка с использованием CM и успешная загрузка и распространение всех посылок. Однако все агенты...

Я пытался заставить этот код работать часами: val spark = SparkSession.builder()

Я использую Hortonworks Sandbox HDP 2.6.5 и замазку для использования оболочки Linux.Моя ОС -...

Я пытаюсь подключиться к каталогу хранилища Hive с помощью Spark на IntelliJ, который расположен по...

Я отключил WebHDFS по соображениям безопасности.После перезапуска службы я установил свойство dfs

У меня есть академический проект, где у меня есть FTP-сервер (веб-сайт), содержащий сжатые файлы...

Вот несколько больших файлов, приходящих через день, не очень часто, 2-3 раза в день, и они...

Я не уверен, что здесь происходит не так, в идеальном случае это не должно происходить , но когда я...