Я ищу распределенную файловую (или другую систему хранения) систему для управления очень большим количеством изменяемых документов.Каждый документ может быть довольно большим (1-100 МБ).Некоторые операции чтения должны гарантированно работать по самым последним данным, а некоторые могут быть прочитаны из в конечном итоге согласованных реплицированных данных.Каждый документ может быть автономным файлом (например, база данных SQLite или другой пользовательский формат файла).
Для оптимальной производительности узел распределенной файловой системы, в которой происходит запись для каждого документа, должен быть разным.Другими словами, сервер A является основным для документа 1, и сервер B реплицирует его, но сервер B является основным для документа 2, а сервер A реплицирует его.Для моего приложения один сервер не сможет обрабатывать весь трафик записи для всей системы, поэтому использование одного мастера для всех данных недопустимо.
Каждый документ должен быть реплицирован на несколькоколичество серверов (скажем, 3).Поэтому, если у меня есть 1000 документов и 10 серверов, на каждом сервере будет копия 300 документов, и я буду ведущим для 100 из них.В идеале кластер должен автоматически назначать серверы мастерами для документов, у которых произошел сбой главного сервера, и перебалансировать нагрузку хранилища при добавлении новых серверов в кластер.
Я понимаю, что это довольно сложный заказ... есть ли что-то, что отвечает большинству моих основных потребностей?