Hadoop MapReduce InputFormat устарел?

Question

Мне нужно реализовать пользовательский (сервисный) источник ввода для приложения Hadoop MapReduce. Я google'd и SO'd и нашел, что один из способов продолжить это реализовать пользовательский InputFormat. Это правильно?

По-видимому, согласно http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/mapred/InputFormat.html Методы InputFormat getRecordReader () и getSplits () устарели. Какая замена?

В примере WordCount Hadoop все еще используется тот же ...

Answer 1

Хотя Hadoop все еще использует объекты из пакета mapred для внутренних целей, с точки зрения пользователя, все они должны рассматриваться как устаревшие. Hadoop крайне не хватает, когда дело доходит до документации, и их примеры, как правило, устарели. К счастью, когда вы действительно застряли, всегда есть переполнение стека

Answer 2

Что произошло, в 0,20 они устарели отображаемых классов и представили новый API.Однако новому API не хватало нескольких основных функций, и поэтому в последнем выпуске старый API был «устаревшим».Рекомендуется использовать старый API, поскольку, скорее всего, он останется здесь.

Answer 3

С документация:

Устаревшие интерфейсы

...

org.apache.hadoop.mapred.InputFormat

Используйте взамен InputFormat .

...

Из-за странного поведения устаревания с 0.20.2 и даже более странного предложения использовать реализацию после устаревания интерфейса, я вырыл немного глубже. Этот интерфейс все еще присутствует в 0.21.0 с удаленным тегом устаревания. На момент написания этой статьи я не смог найти сопоставимый интерфейс в магистрали.