Откройте файл в MapReduce Mapper - PullRequest
0 голосов
/ 16 января 2019

Я работаю над проектом MapReduce, и мне нужна помощь. В моем классе mapper я должен открыть текстовый файл и работать с ним. Этот файл не является вводом карт, но это файл, который я должен использовать для поиска.

Входные данные моего картографического файла представляют собой текстовый файл, содержащий некоторые твиты, а файл, который я хочу использовать, представляет собой текстовый файл, содержащий некоторые ключевые слова. Я должен увидеть, содержит ли эти твиты какое-то ключевое слово. Я знаю, что могу открыть «файл твита», используя объект Job и FileInputFormat.addInputPath в классе Driver, но я не знаю, как открыть «файл ключевых слов» в классе Mapper.

Я разрабатываю этот проект в локальной конфигурации, но этот проект будет тестироваться в распределенной среде, поэтому я хотел бы иметь решение, которое работает в обеих средах.

РЕДАКТИРОВАТЬ: я использую версию MapReduce для Hadoop.

Спасибо за ваши ответы.

...