Как создать распределенное дерево суффиксов в кластере HPC - PullRequest
2 голосов
/ 02 февраля 2011

Я хочу создать дерево суффиксов для 4 ГБ входной строки.В идеале размер дерева в памяти будет примерно 100 ГБ.Я не могу сделать это на обычном рабочем столе.Есть ли способ сделать это на кластере Windows HPC?Как я могу распределить дерево суффиксов на другом вычислительном узле HPC?

1 Ответ

2 голосов
/ 17 февраля 2011

Да, это возможно; Google Scholar перечисляет несколько статей по теме. Хитрость заключается в первоначальном назначении частичных суффиксов начальным процессорам; это должно быть выбрано так, чтобы каждый процессор мог независимо найти свой участок дерева. Как только это будет сделано, обычные операции с суффиксным деревом могут быть выполнены довольно эффективно. Я не знаю ни одного публичного примера реализации.

...