У меня есть данные в файле data / 2011/01/13/0100 / в HDFS, каждый из этих файлов содержит данные,...
я пытаюсь реализовать алгоритм в hadoop. я попытался выполнить часть кода в hadoop, но потоковое...
Я расширяю LoadFunc. В функции getNext я хотел бы пропустить возврат кортежа при определенных...
Как я уже заметил , Pig плохо справляется с пустыми (0-байтовыми) файлами. К сожалению, существует...
Мы используем Amazon Elastic Map Reduce для выполнения некоторых крупных заданий по обработке...
В настоящее время я использую приложение wordcount в hadoop в качестве эталона. Я считаю, что...
Сейчас у нас есть задание hadoop в Java, которое работает с некоторыми двоичными файлами C ++.Мы...
Есть ли распределенное хранилище, например Hadoop, но с преимуществами ZFS?
Я хотел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive.Я настроил Hive для хранения...
Наш рабочий процесс использует кластер упругого преобразования AWS для запуска серии заданий Pig...
Я думаю об использовании HBase для хранения журналов (данных веб-журналов), каждый журнал будет...
Я использую findAll() SQL-подобный метод: MyDomainClass.findAll("firstname='George'...
Я создаю программу для анализа файлов PDF, DOC и DOCX. Эти файлы хранятся в HDFS. Когда я запускаю...
Я успешно запустил Hadoop и Hbase. Но когда я пытаюсь эту операцию, как, ./hbase shell HBase Shell;...
Можно ли использовать DistCp для копирования только файлов, которые соответствуют определенному...
Это довольно странная ситуация, но я ищу способ фильтрации, используя что-то вроде MATCHES, но по...
Я использую Hadoop Map / Reduce, используя Java Предположим, я выполнил всю работу по карте /...
В mapreduce каждая задача сокращения записывает свои выходные данные в файл с именем part-r-nnnnn ,...
Я новичок в HDFS и MapReduce и пытаюсь вычислить статистику опроса. Входной файл имеет следующий...
Есть ли способ получить конфигурацию задания (какое-то свойство из конфигурации), если я знаю...
I have two Map/Reduce classes, named MyMappper1/MyReducer1 and MyMapper2/MyReducer2, and want to use...
В 3-х узловом кластере hadoop.Я хотел бы, чтобы мастер был 1 узел.Карта задач выполняется в одном...
Я хочу написать свою собственную карту и уменьшить функцию в среде Mapreduce. Как я могу это...
$hdfs dfs -rmr crawl 11/04/16 08:49:33 INFO security.Groups: Group mapping impl=org.apache.hadoop
У меня есть схема, описывающая значения tf-idf для слов в различных статьях.Его описание выглядит...