Вы действительно хотите заново изобрести это колесо?
Если вы абсолютно уверены в этом, по крайней мере посмотрите на предыдущие попытки (например, Cassandra - это распределенное хранилище значений ключей, написанное на Java), и посмотрите, какие ошибки были допущены, чтобы вы могли улучшить свои усилия. .