Я пытаюсь прочитать файл Avro из HDFS, используя Spark, однако получаю исключение.Файл существует в...

У меня есть СДР, преобразованный в dataFrame следующей структуры:...

Я хочу проверить размер файла в hdfs, используя python, но используя путь hdfs, этот модуль ОС не...

Я хочу запустить скрипт оболочки с локального пути (Edge node) вместо каталога hdfs через oozie....

Я принимаю сообщения из MQ в HDFS (в промежуточную область). Я хочу скопировать эти файлы на...

Я хочу слушать определенные каталоги в HDFS, используя python (все, что я нашел, было в java).Когда...

Я использую приемник Flink от Kafka до HDFS.Версия Flink - 1.4.2. Я обнаружил, что при каждом...

Я загружаю CSV-файл в таблицу через внешнюю таблицу в кусте. CSV имеет 1000 строк. Но когда я...

У меня есть данные большого размера (в ТБ или ПБ) в моей HDFS, расположенной на удаленном ПК.Теперь...

Я новичок в больших данных.Я пытаюсь внедрить коллекцию MongoDB в hdfs, и у меня есть выбор...

Мне недавно нужно сжать сотни файлов в формате hdf.Теперь я могу использовать GNU параллельно для...

Я настроил доступ к HDFS с помощью настройки httpfs в Kubernetes, так как мне нужен доступ к узлам...

Я использую Ambari, диск HDFS заполнен, Как мне сделать, чтобы расширить хранилище ?

Я использую Ambari Horthonworks, у меня проблема с последним рабочим процессом (добавьте данные в...

HDFS - это сердце Hadoop, я понял.Но что, если я не хочу хранить свои данные в HDFS.Вместо этого я...

Есть ли способ поместить некоторый файл, скажем, data.json, в HDFS автоматически прямо из...

Я хочу получить доступ к Google Cloud Storage через клиент Hadoop.Я хочу использовать его на...

Я работаю над кластером HDP и пытаюсь прочитать файл .csv из HDFS, используя pyarrow .Я могу...

у нас есть искровой кластер HDP 2.6.4 с 10 рабочими машинами Linux. Кластер запускает искровые...

Я пытаюсь создать пример, в котором мне нужно извлечь кадры из видео, выполнить некоторую обработку...

Я новичок в Spark и не совсем понимаю, как это спросить (какие термины использовать и т. Д.),...

Я новичок в области инженерии данных, и недавно я играл с библиотекой javascript redux. Мне очень...

Я не могу поместить файл в HDFS.Всякий раз, когда я пытаюсь выполнить команду put, я получаю ошибку...

Я ищу решение переименовать несколько файлов данных в HDFS, я, скажем, 26000 файлов данных...

В случае многопоточного приложения, если мы используем FileSystem.get и закрываем файловую систему,...