MapFileOutputFormat для hadoop 0.20.203

Question

У меня есть задание hadoop, которое я хотел бы вывести в MapFile, но мне нужно работать на кластере с запущенным hadoop 0.20.203, у которого нет MapFileOutputFormat.Есть ли какой-нибудь способ преобразовать выходные данные из SequenceFileOutputFormat (который, я считаю, может содержать несколько файлов SequenceFiles) параллельно в MapFile (возможно, он очень большой)?А как насчет ArrayFile (если ключи все целые и относительно сжатые)

Answer 1

MapFileOutputFormat есть в 0.20.203.Нет необходимости в преобразовании из SequenceFile в MapFile.

FYI, преобразование SequenceFile в MapFile можно сделать, открыв SequenceFile и используя MapFile # fix , который создастиндекс для SequenceFile.Предшественником этого является то, что содержимое SequenceFile должно быть отсортировано, для этого может быть создано задание MR.MapFileFixer.java в zip содержит пример кода.