В работе Map-Reduce я использую пять разных файлов, где в моем наборе данных содержатся значения в...
Я запускаю программу подсчета слов. hadoop jar hadoop-mapreduce-examples-2.4.0.jar wordcount...
Можно ли перемещать файлы в hadoop, используя FileSystem класс https://hadoop.apache.org/docs/r2.7
Я читал статью о том, как небольшие файлы ухудшают производительность запроса улья....
Я выполняю два задания примера подсчета Word в одном кластере (я запускаю hadoop 2.65 локально с...
Может кто-нибудь помочь мне с аутентификацией при переносе данных из hdfs в S3.Чтобы подключиться к...
Я использую кластер HDP из 10 узлов, где я пытаюсь запустить простое задание WordCount с помощью...
Я пытаюсь выполнить какую-то фильтрацию файла последовательности и сохранить его в другом файле...
Я новичок в поиске и пытаюсь понять код в моем проекте и работать над ним. При создании сеанса...
Как изменить разделитель значения ключа по умолчанию в задании «Только карта» в парадигме MapReduce
У меня есть внешняя таблица ORC с большим количеством маленьких файлов, которые ежедневно поступают...
Мы собираемся обрабатывать большие данные (~ 50 миллионов записей) в нашей организации. Мы делим...
Я использую запрос ниже: select UserId, Category from customer_data where (Category in...
У меня есть таблица улья, которая служит моей исходной таблицей. У меня также есть еще одна таблица...
Я успешно установил Java openjdk version "10.0.2" и Hadoop 2.9.0. Все процессы работают...
Я настраиваю свой кластер Hadoop для тестирования и помещаю все в 3 контейнера Docker. Мой файл...
Когда я запускаю искровое задание на кластере пряжи, приложения выполняются в очереди. Итак, как я...
У меня есть требование собрать путь json всех полей в схеме avro. Пример: { "name":...
Я использую Hive на MRv2 и пытаюсь оптимизировать запросы улья. База данных предполагает историю...
У нас есть таблица Hive с тремя разными идентификаторами, все необязательно. В каждой строке должен...
Я выполнил один POC о том, как взаимодействовать с RDBMS [MySQL] напрямую с помощью Apache Spark....
В моем кластере hadoop у меня есть 1 активное имя узла 1 резервный узел имени 3 узла журнала 4 узла...
Существует ли простой способ (способ API) для измерения производительности редуктора (сокращения...
У меня есть 3 узла, один namenode1, datanode1 и datanode2. Scoop и MySQL установлены на namenode1....
Мы используем визуализатор БД для запроса базы данных Hive на HDP 2.6.x, мы сталкиваемся с...