Я пытаюсь понять, какое влияние может оказать кодирование стирания на чтение производительности...
drwxrwxrwx - hdfs supergroup 0 2017-10-23 09:15 /benchmarks drwxr-xr-x - cloudera supergroup 0...
В hadoop 2.0 коэффициент репликации по умолчанию равен 3. И допустимое количество отказов узлов...
У меня установлен HDP 2.4 на моем кластере. Допустим, у меня есть таблица (Table_1) с...
В моей таблице есть 1 раздел для даты. Для этого раздела есть 2 папки в формате hdf, например,...
Когда я делаю $ ls Я нахожу файл с именем: file_name.csv Однако, когда я пытаюсь сделать $ hdfs dfs...
Хорошо, я пытаюсь предварительно обработать фрейм данных.Интересно, что если я попробую это в своем...
В моем приложении Java я использую текстовый файл (размер ~ 300 МБ), который хранится в HDFS....
Я новичок в Hadoop.Вопросы связаны с веб-интерфейсом версии Hadoop 2.8.3. Как отключить / изменить...
У меня есть проект Java-Maven.Копирует файлы с локального на HDFS.У меня есть hadoop-common в моем...
У меня есть следующий CSV-файл, расположенный в path/to/file в моем магазине hdfs. 1842,10/1/2017...
Моя цель - собрать все данные от каждого работника Spark в один файл. Я прочитал статью с решением...
Я понял, что снимок hdfs отслеживает добавленные или удаленные файлы из каталога.Каково поведение,...
Я получаю fileNotFoundException в указанной строке ниже. Ранее в Hadoop 1 это было функционально....
У нас есть 3-узловый искровой EMR-кластер (m3Xlarge). Мы пытаемся объединить несколько больших...
У меня есть около 150K изображений, хранящихся в HDFS. Их метаданные (метка времени, путь) хранятся...
у нас проблема с повреждением данных в нашем кластере hadoop.У нас есть управляемая таблица кустов,...
Я пытаюсь настроить и запустить кластер Spark, работающий поверх YARN и использующий HDFS. Сначала...
У меня есть процесс-демон, который выгружает данные в виде файлов в HDFS. Мне нужно создать RDD...
Почему в hadoop получается пустой текстовый файл при чтении из HDFS. я использую метод itreative в...
Есть несколько путей к паркетному файлу: / A / B / C = 'str1' / д = 'ул' / A / B / C = 'str2' / д =...
ROW FORMAT DELIMITED FIELDS TERMINATED BY '${database_delimiter}' LINES TERMINATED BY...
Какие распределенные файловые системы поддерживаются Dask? В частности, из каких файловых систем...
Я использую Python 3.5.2 в облаке IBM.Мне нужно запустить код pyspark в кластерной среде.Для этой...
Я новичок в Hadoop, поэтому извините, если мои вопросы тривиальны. Является ли локальная файловая...