Асинхронное извлечение данных из стороннего веб-сервиса на платформе Windows Azure

Question

Я хочу получить большой объем данных, часто из разных сторонних веб-сервисов API, и сохранить его в промежуточной области (это то, что я хочу решить прямо сейчас), откуда он будет затем перемещаться по одному по мере необходимостив базу данных моего приложения.

Я хотел бы знать, можно ли использовать платформу Azure для достижения вышеуказанного?Насколько хорошо использовать платформу Azure для этой задачи?

Что, если извлекаемые данные имеют большой объем, а частота извлечения высока, т. Е. Может быть получас или ежечасно для 2000 различных пользователей?

Я предполагаю, что если это вообще возможно, то пропускная способность, хранилище данных, возможности сервера и т. Д. Будут беспокоить меня, а не © © Microsoft.И, очевидно, я смогу получить доступ к данным в любое время, когда мне это понадобится.

Если бы мне пришлось реализовать их на серверах Windows, тогда я знаю, что для этого я буду использовать службу Windows.Но я не знаю, как это можно сделать для платформы Windows Azure, если это вообще возможно?

Answer 1

Как сказал Ринат, вы можете использовать решение Lokad. Если вы решите сделать это самостоятельно, вы можете запустить синхронизированную задачу в своей рабочей роли - возможно, вызвать поток, который спит, просыпаясь каждые 30 минут для выполнения своей задачи. Затем он может обратиться к соответствующим веб-службам (или, может быть, по одному потоку на веб-службу?) И извлечь данные. Вы можете временно сохранить его в хранилище таблиц Azure, что составляет часть стоимости SQL Azure (0,15 на ГБ), а затем легко прочитать его из хранилища таблиц по требованию и перенести в SQL Azure.

Если вы размещаете свои службы, хранилище и SQL Azure находятся в одном центре обработки данных (при соответствующей настройке привязки), вы будете платить только за пропускную способность при извлечении данных из веб-службы. Плата за пропускную способность для извлечения из Table Storage или вставки в SQL Azure не взимается.

Answer 2

В Windows Azure это обычно рабочая роль, используемая для размещения облачной обработки. Чтобы выполнить свои задачи, вам нужно либо внедрить эту инфраструктуру обмена сообщениями / планирования самостоятельно, либо использовать что-то вроде Lokad.Cloud или Lokad.CQRS проектов с открытым кодом для Azure.

Мы используем Lokad.Cloud для распределенной обработки BI сотен тысяч серий, а Lokad.CQRS позволяет надежно извлекать и синхронизировать миллионы продуктов по расписанию.

В обоих проектах есть примеры, документы и сообщество.