Выполнение задания Disco Map-Reduction для данных, хранящихся в Discodex

Question

У меня есть большое количество статических данных, которые должны обеспечивать произвольный доступ. Поскольку я использую Disco, чтобы переварить его, я использую очень впечатляющий внешний вид хранилища Discodex (ключ, значение) поверх распределенной файловой системы Disco. Однако документация Disco довольно скудна, поэтому я не могу понять, как использовать мои индексы Discodex в качестве входных данных для задания Disco.

Это вообще возможно? Если да, то как мне это сделать?

Или я неправильно об этом думаю? Было бы лучше просто сохранить эти данные в виде текстового файла в DDFS?

Answer 1

Вы также можете использовать DiscoDB для сохранения выходных данных одного задания, а затем использовать его в качестве входных данных для другого задания. В учебнике по DiscoDB есть хороший пример.

http://discoproject.org/doc/howto/discodb.html

Answer 2

Неважно, кажется, что то, что я делаю, на самом деле не должно быть сделано. Это могло бы быть возможно, но было бы намного лучше просто использовать семантические теги DDFS для ссылки на большие двоичные объекты данных.

Правильный вариант использования Discodex заключается в хранении индексов , созданных программой Disco map-Reduce, которая не обязательно должна быть введена другой программой уменьшения карты.