Я прочитал в документации GDAL, что начиная с 2.4 можно открыть растр в HDFS.Я скачал и...
Я пытаюсь сохранить файл json в HDFS, используя pyarrow.Вот как выглядит мой код. from pyarrow...
Я пытался заставить этот код работать часами: val spark = SparkSession.builder()
У меня есть процесс, который перемещает файлы в папку обработки с помощью сценария pig в качестве...
У меня есть локальная папка на linux с тысячами CSV-файлов. Каждый CSV-файл имеет размер ~ 1 МБ....
Я отключил WebHDFS по соображениям безопасности.После перезапуска службы я установил свойство dfs
У меня есть академический проект, где у меня есть FTP-сервер (веб-сайт), содержащий сжатые файлы...
Привет всем. У меня возникла проблема, которая затрагивает множество технических специалистов, и я...
** Я пытаюсь принять данные, которые находятся в каталоге моего виртуальной машины Linux в каталог...
Возможно ли управление доступом пользователей на уровне файлов HDFS?В настоящее время каждый может...
Я использовал конфигурацию по умолчанию (3 репликации) в нашем кластере Cloudera. Но какой-то...
Перед тем, как я записываю фрейм данных в hdfs, я coalesce(1) заставляю его писать только один файл...
У меня небольшой кластер с не очень хорошей сетью.Время от времени длительное задание будет...
Я новичок в разработке данных.Я пытаюсь настроить среду для проекта больших данных.На данный момент...
Я скачал hadoop 3.1.1 и внес все изменения в конфигурацию, строка: sudo hdfs namenode -format...
У меня есть данные, которые я хочу загрузить в HDFS. папка с данными является многослойной, но...
Я провожу несколько экспериментов с размером блока (dfs.block.size) и размером группы строк...
Я получаю InternalDir ViewFileSystem только для чтения ошибка при попытке удалить файл с помощью...
Не удалось найти достаточно информации в интернете, поэтому спрашивайте здесь: Предполагается, что...
Мы используем HDP HDFS модуль версии 2.7.3.2.6.5.0-292. Сервер завис, и его пришлось перезагружать...
Я использую spark 2.3.0 и hadoop 2.9.1 Я пытаюсь загрузить файл CSV, расположенный в hdfs, с...
Я скачал и собрал parquet-1.5.0 из https://github.com/apache/parquet-mr. Теперь я хочу запустить...
Я запускаю spark-submit в режиме кластера / отдыха в кластере DCOS: $ ./spark-submit --deploy-mode...
Я столкнулся с ситуацией, когда Hive Metastore не может перезапуститься на моем Name Node.Похоже,...
Алгоритмы репликации обычно бывают трех типов: репликация с одним лидером, с несколькими лидерами и...