Лучший способ хранить большой набор URL для гусеничных

Question

Я пишу пользовательский сканер, и мне нужно знать, сканируется ли определенный URL или нет, поэтому я не буду добавлять один и тот же URL дважды Прямо сейчас я использую mysql для хранения хеш-значений каждого URL. Но мне интересно, может ли это стать очень медленным, если у меня большой набор URL-адресов, скажем, сотни миллионов.

Есть ли другие способы хранения URL-адресов? Люди используют люцен для этого? Или есть конкретная структура данных для этого?

Answer 1

Вы не указали свою платформу разработки, но есть действительно хорошая структура данных под названием Trie (http://en.wikipedia.org/wiki/Trie), есть много реализаций на java, c ++, c # ...

Answer 2

уже поздно! но вы можете использовать ram db system например memcached

Answer 3

вы можете попробовать BerkeleyDb