Я пытаюсь выполнить программу Java для подсчета слов во входном файле, используя mapreduce в hadoop

Я пишу приложение Spark, работающее на HDFS, выводом является RDD, который я должен сохранить в...

У меня проблема с использованием библиотеки rocksDb в scala. Я пытаюсь импортировать org.rocksdb

хотел бы прочитать файлы, которые сжаты в форматах .bz2 и .gz, как найти тип сжатия файла и...

Попытка скопировать данные из нескольких папок hdfs в другую. Исходные пути определены с помощью...

Настройка У меня есть Apache Spark (2.4.4), работающий в Linux (Ubuntu 18.04.3 LTS (GNU / Linux 4

У меня странная проблема с потоком выполнения в кластере. Вызов метода A - Метод B, который в...

Я создал приложение Java, которое передает файлы из FTP-хранилища в HDFS. Для этого сначала нужно...

Я обновился до hdp3.1.4 и теперь не могу создать новый файл или каталог на hdfs. Проблема...

Я пытаюсь загрузить файл с меткой времени в мою таблицу кустов, сохранив фрейм данных в путь hdfs....

Я пишу bash-скрипт для экспорта динамического SQL-запроса в hql-файл в каталоге HDFS. Я собираюсь...

Попытка использовать механизм контрольных точек во флинке с fs HDFS. При соединении с hdfs:...

Я использую flume для передачи данных от потребителя kafka в приемник hdfs. Когда данные...

Скажем, у меня есть настроенная потоковая передача данных в таблицу транзакционного куста (2.3.3)...

Мне нужно загрузить разделы кустов из промежуточных папок. В настоящее время мы копируем и удаляем....

Мой вопрос очень похож на Grep для нескольких файлов в файловой системе Hadoop Однако в моем случае...

Если я использую copyFromLocalFile() для помещения файла в HDFS с перезаписью, установленной на...

У меня есть долгосрочное задание на структурированную потоковую передачу Spark, запущенное в Google...

Я хотел бы проверить свой код, вызывая пример класса org.apache.hadoop.hdfs.MiniDFSCluster. Однако...

Я хочу проверить, существует ли файл с определенным именем в указанном месте HDFS. Имя моего файла...

Я пытаюсь программно получить все файлы по заданному пути, используя код Java public static...

Я создал базу данных, используя SQL в кусте. И я искал базу данных с использованием HDFS. Но я не...

при потоковой передаче данных по потоку с использованием источника netcat в каталоге хранилища и...

В настоящее время мы загружаем сообщения Kafka в HDFS, используя Spark Streaming. Пока что мы...

Я работаю над конвейером данных IOT и каждую секунду получаю сообщения с нескольких устройств в...