Spotify / Annoy - файловая система индексов векторов, которую можно прочитать локально. Это очень быстро благодаря разработанной ими логике mmap c.
Мы ищем способы масштабирования вычислений вокруг этого (т. Е. Множества докеров, которые будут читать из одного и того же индексного файла в aws / k8s) .
Мы подумали использовать EFS - интересно, кто-нибудь "произвел" систему вычисления масштаба на основе индексов раздражения.