Могу ли я использовать распределенную БД для моего WebCrawler, каковы все доступные распределенные базы данных с открытым исходным кодом? Могу ли я использовать MySQL в качестве моей распределенной БД? как объем данных может быть сохранен?
MongoDb может быть правильным для вас. Это позволяет шардинг и репликацию.
Как сказано ранее в комментарии: используйте Сфинкс (например).