Как построить терабайтную очередь? - PullRequest
1 голос
/ 17 апреля 2010

Как построить / спроектировать / запрограммировать терабайтную или петабайтную очередь в памяти? (Представьте себе сервис, подобный твиттеру, с огромным количеством пользователей.)

Ответы [ 2 ]

1 голос
/ 17 апреля 2010

Почему бы не использовать службу очередей в твиттере? Он называется kestrel и имеет открытый исходный код.

0 голосов
/ 17 апреля 2010

Это будет во многом зависеть от того, какую файловую систему вы используете и какие элементы хранятся в очереди. Элементы очереди должны быть как-то адресуемы. Возможно, как имена файлов, или адреса блоков дисков, или ... что-то. Вам нужно будет хранить адреса этих элементов в очереди. В зависимости от количества элементов, с которыми вы работаете, вам, возможно, даже придется разбить его еще дальше и разделить вашу очередь на блоки, где целые блоки элементов рассматриваются как один элемент в очереди, и каждый блок организован как его собственный суб-очереди.

...