У меня большой фрейм данных (чуть больше 20G), я пытаюсь сохранить его как объект pickle для...

Я только начал работу над квалификацией платформы больших данных, и я хотел бы получить предложения...

Я пытаюсь импортировать данные в Hbase, используя следующую команду hbase org.apache.hadoop.hbase

У меня в tomcat работает приложение Java, которое копирует zip-файл в HDFS.Это работает правильно,...

Свойство "hbase.cluster.distribute" в "hbase-site.xml" имеет значение "true". Чтобы объединить...

Как файлы в HDFS и в локальных файловых системах ext4 соответствуют друг другу? Согласно Нужно ли...

У меня есть Excel на моей локальной машине и HDFS на удаленном RHEL-сервере. Я хочу загрузить эти...

hive> CREATE TABLE records (year STRING, temperature INT, quality INT) > ROW FORMAT DELIMITED...

Таким образом, у меня есть искорка, которая работает каждый час. Работа обрабатывает файлы из HDFS....

Я делаю потоковую передачу с помощью nc -lk 9999, и DS-потоки сохраняются в разных папках и разных...

Я делаю POC при переносе данных из Oracle db в файловую систему Hadoop с использованием Kafka...

У нас есть тупиковая сеть, которая находится за одним IP-адресом.Мы используем NAT и перегружаем...

Мне нужно синхронизировать некоторые записи в HDFS из нескольких пакетных приложений.Для этого я...

Я пытаюсь прочитать CSV-файл в JavaRDD. Для этого я написал код ниже: SparkConf conf = new...

Я пытаюсь отфильтровать данные в соответствии с полем даты и времени. Образец из моих данных: 303,0

Я пытаюсь выполнить SQL-запрос на Spark, который генерирует таблицу с примерно 10 000 столбцов, и...

Соединитель Kafka запускается нормально и читает поток данных в теме, однако он не записывает...

Я настроил автономную среду Hadoop с одним узлом на внешнем сервере RHEL. Я пытаюсь просмотреть...

Я хочу изменить балансировку hdfs. Однако он выдает следующую ошибку Не удалось переместить blk_135...

В HDFS файл, если его размер превышает размер блока, делится на несколько блоков и распределяется...

У нас есть кластер Azure HDI (рабочие узлы Linux) с основной учетной записью хранения, связанной с...

У меня большая работа (с данными), я записал вывод в hdfs.Вывод файла паркета не является пошаговым

Я только начал изучать spark и пытался провести анализ текста с использованием spark / nltk и...

Когда я запускаю любой запрос на impala, я получаю следующее сообщение в профиле WARNING: The...

Обычно мы добавляем параметры в spark-submit для загрузки jar и venv (скажем, zip через conda pack...