Я реализовал пользовательский поставщик учетных данных для EMRFS, следуя инструкциям в Авторизация...

У меня есть неразмеченная ВНЕШНЯЯ таблица: CREATE EXTERNAL TABLE `db.tableName`( `sid` string,...

Когда я использую команду импорта S3guard, все время модификации загружается без миллисекунд,...

Столкновение с контейнером, уничтоженным из-за того, что он выходит за пределы физической памяти....

Я пытаюсь прочитать все файлы в каталоге на s3 через приложение spark, которое выполняется на EMR....

У меня есть большой .dat файл с несколькими xmls .Вот как в основном выглядит мой .dat : - <?xml...

Я пытаюсь создать пример, в котором мне нужно извлечь кадры из видео, выполнить некоторую обработку...

Hadoop 2.9.1, автономная установка. Каталог hdfs организован по времени (yyyyMMdd/HH/mm), например,...

Мне нужно анализировать логи, но файлы не больше 17 ГБ.Разумно ли использовать Hadoop для такого...

Я пытаюсь запустить программу mapreduce, просто WordCount для лучшего понимания. Все работает...

работает на pyspark, Hive and Hadoop есть ли связь между каналами ввода / вывода и нет. ядер...

Я использую Hadoop для хранения своих данных - для некоторых данных я использую разделы, для...

Я выучил Mapreduce. Однако я не понимаю эту среднюю проблему Mapreduce. Сценарий 1: Я хочу в...

У меня большой набор данных в Spark Dataframe.Я хочу сохранить эти данные в улье.Какой из следующих...

Я не могу поместить файл в HDFS.Всякий раз, когда я пытаюсь выполнить команду put, я получаю ошибку...

У меня есть искровой фрейм данных, для которого мне нужны пары ключ-значение, как показано ниже.Мне...

Я использую mrunit 1.1.0 для Apache для моего проекта. Может кто-нибудь сказать мне, где я могу...

Я установил Hive, и он правильно выполняет основные запросы, но застревает для запросов, таких как...

Я докертизировал приложение Hadoop и пытаюсь получить доступ к namenode извне контейнера по...

У меня есть таблица на Hive, которая содержит 920 649 653 записей. Я хотел бы вставить эту таблицу...

В случае многопоточного приложения, если мы используем FileSystem.get и закрываем файловую систему,...

Я использую общий экземпляр FileSystem, т. Е. FileSystem.get У меня есть блок кода, похожий на try...

Я пытаюсь заставить мои существующие запросы Hive работать быстрее. Я запустил несколько операторов...

Я очень новичок в MapReduce и узнал о реализации метода установки. Новое строковое значение,...

Я пытаюсь настроить pyspark на Intellij-Idea. Всякий раз, когда я пытаюсь запустить любой пример...