Вот что я пытаюсь: import pyarrow as pa conf = {"hadoop.security.authentication":...

Мне нужно создать озеро данных на AWS, но я не знаю, чем именно S3 отличается от HDFS? Я нашел...

Я знаю, что эта проблема чтения большого количества маленьких файлов в HDFS всегда была проблемой и...

Я установлен в Hadoop 3.0.2 в Ubuntu18, но когда я запускаю dfs.sh, он не показывает ни имени, ни...

Как обрабатывать столбец любого файла таблицы / csv, который содержит символ новой строки в pyspark...

Я учусь разрабатывать искровые приложения с использованием Scala. И я на первых шагах. У меня есть...

$cat > import.txt import --connect jdbc:mysql://localhost/hadoopdb --username hadoop -password...

Я пытаюсь прочитать байты из файла последовательности с определенным ключом в списке.Когда я...

Если по одной теме я получаю сообщения в каком-либо формате, представляющем список идентичных...

Я пытаюсь запустить пример из книги Освоение Apache Spark 2.x. scala> val df = sc

Попытка получить список всех каталогов в кластере Hadoop с файлами более 500000. Если родительский...

Я хотел бы сделать потоковую передачу Spark с Kafka на HDFS, как я могу сохранить rdds, сохраненные...

Я попытался запустить задание mapreduce в Hadoop 2.8.5, но оно продолжает работать. Состояние...

Я работаю над конвейером, который будет работать ежедневно.Он включает в себя объединение двух...

Пока мы пытаемся использовать Kafka Connect для HDFS Sink на основе статьи в блоге Confluent:...

Мы используем Hadoop 2.7.3.HDFS Disk Balancer - это новая функция для Hadoop3.Каков наилучший...

Я пытаюсь сгруппировать значение (ключ, значение) с помощью apache spark (pyspark). Мне удается...

Я запускаю искровое задание в кластерном режиме. Итак, мой драйвер скачивает файлы, добавляет их...

У меня есть требование прочитать изображение из HDFS, выполнить некоторую обработку и сохранить...

Я использую HDP_3.0.1_sandbox в докере, запущенном на экземпляре Amazon EC2, и когда я пытаюсь...

У меня кластер hdfs и python на одной облачной платформе Google. Я хочу получить доступ к файлам,...

{ "" RemoteException "": { "" exception "": ""...

Известен ли способ использования Hadoop api / spark scala для копирования файлов из одного каталога...

Я хочу отобразить каталог верхнего размера в формате hdf, включая его подкаталог.Пожалуйста,...

У меня есть классический координатор с входным событием на пути HDFS. <datasets> <dataset...