Работа со сжатием / шифрованием файлов в Azure - PullRequest
0 голосов
/ 30 мая 2011

Является ли Azure подходящей / жизнеспособной платформой для процесса, который получает различные зашифрованные и / или сжатые файлы, извлекает их и манипулирует ими?

Например, в настоящее время у меня есть процесс, который использует SSIS для загрузки плоских данныхфайлы, как описано выше, и загружает их в базу данных.Затем новые файлы извлекаются и распаковываются или зашифровываются PGP, а FTP отключается.

Если бы мне пришлось перенести этот процесс в Azure + SQL Azure, как лучше всего это сделать?У меня есть интерфейс, который позволяет отправлять файлы в хранилище BLOB-объектов - куда мне идти отсюда?Роль ВМ?Рабочая роль?

Ответы [ 2 ]

2 голосов
/ 30 мая 2011

Я думаю, что Azure хорошо подходит для этой ситуации.

Поскольку у вас уже есть внешний интерфейс, я бы внес в него небольшие изменения, чтобы по окончании сохранения файла в хранилище больших двоичных объектов он записывал сообщение в очередь с указанием пути к файлу, который нужно обработать, и информацией о том, как он был зашифрован (если у вас есть эта информация, и это облегчит последнюю обработку).

Я бы написал класс, который может отслеживать эту очередь на входящую работу. Он получает сообщение из очереди (вам нужно убедиться, что таймаут видимости , установленный вами при получении сообщения из очереди, достаточен, чтобы вы могли завершить эту обработку до истечения срока его действия), задание, которое вы уже указали, затем удаляет сообщение очереди, чтобы сообщить, что оно завершило эту часть работы.

В базовой настройке напишите рабочую роль, которая использует класс выше. Если вы можете обрабатывать несколько файлов одновременно на одном экземпляре, при запуске рабочей роли создайте несколько экземпляров этого класса в своем собственном потоке.

Если вам требуется больше вычислительной мощности, разверните больше рабочих экземпляров.

1 голос
/ 30 мая 2011

Еще один лакомый кусочек, который нужно добавить к ответу knightpfhor: Рабочая роль покроет почти все, что вам нужно, поскольку у вас могут быть задачи запуска, которые запускаются с правами администратора. Очень мало случаев, когда требуется роль виртуальной машины:

  • Запуск / настройка занимает очень много времени. Это немного субъективно, но хорошее практическое правило составляет около 5 минут
  • Задачи запуска / настройки ненадежны и не всегда работают при первом запуске
  • Требуется взаимодействие с человеком
...