Подходит ли облачный сервис для этого приложения?

Question

Я ищу информацию о появлении облачных сервисов (например, Amazon / Azure), и мне интересно, подойдут ли они для моего приложения.

Мое приложение в основном имеет одну таблицу базы данных, которая составляет около 500 ГБ. Он растет на 3-5 ГБ / день. Мне нужно извлечь из него текстовые данные, около 1 миллиона строк за раз, фильтруя примерно по 5 столбцам. Эти извлеченные данные обычно занимают 1-5 ГБ и имеют размер до 100-500 МБ, а затем размещаются в Интернете.

Здесь есть некоторые детали моей существующей реализации Одна таблица 400 ГБ, один запрос - нужны идеи настройки (SQL2005)

Итак, мой вопрос: Будут ли существующие облачные сервисы подходить для размещения приложений такого типа? Какова будет стоимость хранения этого объема данных и пропускной способности (использование пропускной способности будет около 2 ГБ в день)?

Подходят ли персистентные системы для хранения больших плоских таблиц, подобных этой, и предлагают ли они возможность поиска по ряду столбцов?

Моя текущая реализация работает на оборудовании стоимостью менее $ 10 тыс., Поэтому не имеет смысла переходить, если затраты намного выше, скажем, $ 5 тыс. / Год.

Answer 1

Учитывая большой объем данных и скорость их роста, я не думаю, что Amazon будет хорошим вариантом. Я предполагаю, что вы захотите хранить данные в постоянном хранилище. Но с EC2 вам нужно выделить определенный объем памяти и подключить его как диск. Если вы не хотите выделять действительно большое количество места (а затем будете платить за неиспользованное дисковое пространство), вам придется постоянно добавлять больше дисков. Я быстро вернул подсчет envalop и оценил, что он будет стоить от 2500 до 10000 долларов в год за хостинг. Мне трудно точно оценить из-за всех переменных факторов, за которые Amazon взимает плату (например, время безотказной работы, объем памяти, пропускная способность, диск и т. Д.)

Answer 2

Предполагая, что это нереляционные данные (нельзя создавать реляционные данные для одной таблицы), можно рассмотреть возможность использования хранилища таблиц Azure, которое представляет собой механизм хранения, предназначенный для нереляционных структурированных данных.

Проблема, с которой вы здесь столкнетесь, заключается в том, что таблицы Azure имеют только первичный индекс и поэтому не могут быть проиндексированы 5 столбцами, как вам требуется. Если вы не сохраняете данные 5 раз, каждый раз индексируются по столбцу, по которому вы хотите выполнить фильтрацию. Не уверен, что это сработает очень рентабельно.

Затраты на хранение таблицы Azure составляют всего от 8 центов США за гигабайт в месяц, в зависимости от объема хранимых данных. Существует также плата за транзакцию и плата за данные Egress. Для получения дополнительной информации о ценах, проверьте здесь; http://www.windowsazure.com/en-us/pricing/calculator/advanced/

Откуда вам нужен доступ к этим данным? Как это написано?

Исходя из этого, могут быть и другие варианты, такие как диски Azure и т. Д.