Посмотрите значения в BDB для нескольких файлов параллельно

Question

Каков наиболее эффективный способ поиска значений в BDB для нескольких файлов параллельно? Если бы у меня был сценарий Perl, который делал это для одного файла за раз, работало бы разветвление / запуск процесса в фоновом режиме с амперсандом в Linux?

Как можно использовать Hadoop для решения этой проблемы?

Будет ли многопоточность другим решением?

Answer 1

Hadoop совершенно не имеет отношения к этому случаю. Hadoop - это система для распараллеливания больших вычислительных задач на компьютерных кластерах, а не для распараллеливания краткосрочных поисков на одном узле.

Если я правильно понимаю, вы хотите, чтобы Perl просматривал значение в нескольких файлах BDB параллельно. Лучше всего это сделать, передав вашим вызовам bdb дескриптор обратного вызова, который будет выполнен после завершения запроса. Потоки будут выполняться на уровне C, гораздо эффективнее, чем в Perl вручную.

Строительные блоки:

BDB: http://metacpan.org/pod/BDB

Coro :: BDB: http://metacpan.org/pod/Coro::BDB

AnyEvent: http://metacpan.org/pod/AnyEvent