Я начал с необходимости резервного копирования всего каталога данных hadoop datanode, используя:...
Какова формула для того, сколько узлов / стоек вы можете потерять в hdf до потери (если...
Мне нужно найти дату создания файла или папки в каталоге hdfs.Например с: hadoop fs -ls...
Я пытаюсь найти лучший способ реализовать следующий конвейер в Hive и HDFS: Я хотел бы использовать...
При удалении управляемых таблиц из куста связанные с ним файлы из hdf не удаляются (в кирпичах...
Я попытался перечислить каталоги hadoop в удобочитаемом формате, используя приведенную ниже команду...
Как hadoop будет разбивать данные, если одна из моих данных превышает размер блока? Например....
У меня есть каталог HDFS с более чем тысячами записей, который содержит разные имена файлов. Я...
Я хочу загрузить данные как путь: hdfs://dcoshdfs/encrypt_data/gmap_info/2019-02-04/*/*...
hdfs dfs -mkdir /user/saheli_flume hdfs dfs -mkdir /user/saheli_flume/source hdfs dfs -mkdir...
Я создаю подпружиненный сервис, который записывает данные в Hadoop с использованием API файловой...
Я пишу Java API для загрузки файла с компьютера с Windows на удаленную HDFS с использованием...
Мне нужно спроектировать конвейер с использованием Nifi, но у меня есть несколько вопросов,...
Я новичок в Hadoop и HDFS, я пытаюсь понять, почему нужны команды Hadoop fs, а не просто...
У меня есть задача Spark Structured Streaming, выполняемая в AWS EMR, которая, по сути,...
Я копирую файл из RDS в кластер EMR.Преобразование данных в Java-приложении Spark и помещение их в...
Размер блока HDFS по умолчанию составляет 128 МБ (источник: https://hadoop.apache.org/docs/r2.9
Я создаю основной поток в SCDF (локальный сервер 1.7.3), в котором я настраиваю 2 потока.1. HTTP ->...
Если одна из задач в графе Luigi должна выполняться на удаленном кластере Hadoop, возможно ли это?...
Я пытаюсь перенести данные кафки в HDFS.Я вижу данные темы kafka в окне kafka-consumer-console. Вот...
Если мое задание sqoop по экспорту данных в teradata не выполняется, в следующий раз, когда мы...
У меня есть папка в формате hdf, которая содержит 202 файла деталей, которые являются выходными...
У меня есть таблица инвентаризации MySQL, в которой нет идентификатора автоинкремента, но есть...
У меня есть 8 подчиненных узлов и 1 главный узел.До недавнего времени только подчиненные узлы были...
У нас есть поток, реализованный с помощью Spark Structured Streaming, записывающий в папку HDFS и,...