Специальные отчеты Hadoop

Question

Я хочу позволить людям вставлять простые текстовые условия поиска, запускать задание на свиноводство (если это лучше? Это то, что я знаю лучше всего) и выводить результаты (результаты файла tsv?), Чтобы я мог показывать их в сетиинтерфейс.

Есть ли что-нибудь, что подходит к этой проблеме?
Что-нибудь известно, чтобы связать несколько разрозненных частей потока, который я собираюсь, вместе?

Спасибо

Answer 1

Почему бы вам не проиндексировать документы в Lucene или Solr?Тогда вы можете сделать поиск текста в режиме реального времени.Hadoop разработан для пакетно-ориентированных процессов, что не похоже на то, что вам нужно в этом случае.

Answer 2

Ну, это зависит от требований вашего проекта.Нужно ли это с малой задержкой, и насколько сложен поиск по запросу.Ну, я думаю, что hbase + pig может быть составным решением.hbase может использоваться для поиска в режиме реального времени (хотя его функция поиска не так мощна, как в СУБД) и pig для обработки большого количества данных в пакетном режиме.