У меня довольно маленькая установка (HDP 2.6) с примерно 1429 блоками на жестком диске 15 ТБ....
Есть ли способ перечислить файлы с размером меньше определенного размера в Hdfs. Использование...
У меня возникла проблема, когда при повторном запуске задания потоковой передачи, если выходной...
Мне нужно получить последний каталог из HDFS, используя шаблон. Это то, что я придумал, но это не...
У меня есть следующие строки в моем bash-скрипте, чтобы исправить реплицированные файлы в HDFS...
Вот некоторые следующие данные, которые я получил от счетчиков Hadoop. Первый - с объединителем,...
Мы установили новый кластер Hadoop со следующими подробностями (мы перешли на redhat 7.5 вместо 7
Я создаю SparkSession в Trait, и объект-компаньон расширяет эту особенность. SparkSessionObject
мы хотим скопировать локальные файлы в HDFS пример su hdfs -c 'hadoop fs -put -f...
Я пытаюсь отправить потоковые данные, прочитанные из Kafka, принять и преобразовать, а затем...
У меня есть данные, которые выглядят так: 1,Anna,London 2,Peter,Amsterdam Я хочу загрузить эти...
Я пытаюсь изменить список контроля доступа для файла, расположенного в хранилище озера данных Azure...
Я попытался скопировать 400+ ГБ и еще одно задание distcp с размером данных 35,6 ГБ, но на...
У меня есть файл /user/nts/.\file_name в HDFS. Я хочу переименовать этот файл в / user / nts /...
У меня странная проблема с записью небольших файлов на hadoop. ниже приведен пример программы...
Когда я пытаюсь поместить файл в hdfs, я получаю сообщение об ошибке. В моем браузере hdfs также...
Я пытаюсь записать файл в hdfs, используя spark-submit. При записи файла я хочу разделить один файл...
У меня немного странная проблема. Когда я запускаю эту команду в терминале, она работает и...
В настоящее время я импортирую данные postgres в hdfs. Я планирую перенести хранилище с hdfs на S3....
Логика моего кода var handler = initService(); for(each line in inputPath) { handler.process(line);...
Я создал каталог и установил квоту в HDFS с помощью следующих команд: hdfs dfs -mkdir...
Учитывая текущее задание Spark Streaming, я хотел бы отправить несколько сигналов, чтобы сказать...
Здравствуйте, я начинаю с Apache Spark и столкнулся с проблемой чтения PDF из HDFS Я пытался решить...
Ошибка выполнения задания куста. Из-за того, что в датодане не хватает файлового дескриптора....
У меня есть два процесса в двух разных узлах (AM и задача). Процесс 1 создает файл с create(path)...