Потребности моей компании довольно просты: у нас есть многопоточная вычислительная программа .Net, которая считывает много ГБ двоичных файлов, обрабатывает массивные вычисления и сохраняет результаты в базе данных SQL Server. Мы хотели бы сделать это в облаке, чтобы выполнить эту повторяющуюся задачу в кратчайшие сроки.
Итак, мы находимся в облачных / сеточных / кластерных вычислениях.
Я думал, что на эту тему будет множество ресурсов и множество доступных альтернатив. Я был просто ошеломлен, чтобы понять, насколько я был неправ.
Хотя установка / запуск экземпляров EC2 была легкой задачей, найти относительно простой и простой способ распараллеливания и агрегирования вычислительной мощности этих экземпляров EC2 было нелегко. Служба поддержки клиентов Amazon постоянно копается, и я просто не смог получить от них конкретного ответа.
Я нашел , используйте , что звучит многообещающе. Он разработан алхимиками людьми.
Однако ссылка на документацию не работает, и я не получил ответа на свои электронные письма, когда обратился в службу поддержки, так что это не очень обнадеживало.
Мы выбрали Amazon вместо Azure, поскольку AMI являются прямыми бесшовными виртуальными машинами (не нужно «связывать» приложение или другое) и потому, что EBS является более удобным хранилищем, поскольку представляет собой «настоящую» файловую систему. С другой стороны, кажется, что Azure HPC готов для Windows, тогда как AWS предлагает это только для AMI на базе Linux.
Любая помощь и предложения приветствуются
РЕДАКТИРОВАТЬ:
Приложение .Net является многопоточным и состоит из сотен параллельных рабочих, выполняющих одну и ту же задачу асинхронно.