Мне нужно хранить и получать доступ к некоторым терабайтам (по крайней мере 2 ТБ, но постоянно увеличивающимся) данных, представляющих миллиарды отдельных элементов.
Требования следующие: - каждая информация должна быть легко доступна для поиска и поиска - исследование данных должно быть очень быстрым
Это заставляет меня задать два вопроса о хостинге и технологии, которая будет использоваться.
Во-первых, для хостинга я должен выбрать между внутренним хостингом с действительно большим сервером для индексации, ... (который, вероятно, дешевле) или облачным развертыванием (но какое облако), котороепроще (но это, вероятно, будет стоить больше).
Во-вторых, помимо этого вопроса также зависит выбор технологии (программного обеспечения), которая будет использоваться для индексации данных.Поскольку у меня нет большого опыта работы с большими данными, ни одна технология не может быть хорошей идеей (SQL, NoSQL, Object Storage) перед 2 ТБ данных.
Я посмотрел на продукты из Google Big Table (которые кажутся интересными, но место на диске не так дешево) для хранения объектов Scaleway (очень дешево, но снижается производительность с количеством отдельных элементов), и я совершенно растерялся.Есть ли у вас какие-либо намеки, опыт или идеи для меня?
Спасибо