Spark удаляет все существующие разделы при записи пустого информационного кадра с перезаписью. У...

У нас есть большая проблема с Namenode, которая не хочет выходить из Safemode со следующей ошибкой:...

Я использую hadoop на компьютере с одним узлом. Когда я запускаю большой файл размером 1 ГБ и...

Я пытаюсь сравнить две таблицы (), читая как DataFrames. И для каждого общего столбца в этих...

Я выполняю команду Hadoop JAR с использованием сценария оболочки, и я не уверен, что означают...

есть файл с именем u.data, в этом файле 4 столбца, второй столбец - movieid, а третий - рейтинг,...

Я получаю ошибку ниже при запуске менеджера узлов пряжи в Windows10 Yarn resource manager is...

У меня есть файл HDFS с 50 миллионами записей, а размер исходного файла составляет 50 ГБ. Я пытаюсь...

Я пытаюсь установить Hadoop 3.1.2 в Ubuntu 18.04, в котором есть только интерфейс командной строки....

Версия JDK: - JDK 1.8 Версия Scala: - Scala 2.12.10 Версия Hadoop: - Версия Hadoop 3.1.2 Spark: -...

У меня есть внешний разделенный (by: source, execute_id, entity_name) Hive table, называемый...

Я делал WordCount с помощью Ubuntu Shell, когда я компилировал Java-код, используя следующую...

Как я могу рекурсивно скопировать каталог из cluster1 в cluster2 в Hadoop HDFS? В результате я...

Я хочу иметь возможность получать текст запроса, информацию о пользователе, время начала запроса,...

Я получаю ошибки метаданных при попытке загрузить (через вставку) таблицу HDFS с помощью Impala....

Я не очень хорош в написании сценариев, как вы можете сказать со мной сценарий. #!/bin/bash hdfs...

Я новичок в использовании среды Hadoop. Моя цель - прочитать файл из локальной файловой системы в...

В кластере с Hadoop 3.0.0-cdh6.2.0 я пытаюсь запустить контейнер Docker через действие Shell...

Я новичок в функции регулярных выражений и хотел получить совет. У меня есть поле, которое содержит...

поэтому у меня возникли проблемы с пониманием того, каким образом мне следует хранить большие файлы

У меня довольно маленькая установка (HDP 2.6) с примерно 1429 блоками на жестком диске 15 ТБ....

У меня есть оператор свиньи, подобный этому: -- extract the 123 from `/id/123` interactions =...

Я использую метод collect_set для DataFrame и добавляю 3 столбца. Мой df такой, как показано ниже:...

Запускаю искровые приложения для теста с intellij. Я всегда вижу это сообщение: WARN...

Я хотел бы настроить агент Flume, который должен читать из раздела Kafka, и сохранить данные в...