Я думаю о разработке инфраструктуры для упрощения работы распределенных вычислений в облачной среде .NET Windows Azure .
В настоящее время Azure (и, скорее всего, на момент выпуска) совершенно не подходит для простого запуска распределенных запросов в облаке ( details ). Простой для меня это что-то вроде DryadLINQ , где вы можете написать запрос:
var results = from c in collection
where IsLegal(c.Key)
select new
{
Key = Hash(c.Key),
Result = RunModel(c.Value);
};
и выполнить его удаленно на нескольких машинах в кластере. Никаких развертываний, хранилищ или конфигураций.
Какие ресурсы, документы или проекты с открытым исходным кодом вы могли бы посоветовать проверить для получения дополнительной информации по этому вопросу (особенно планирование и оптимизация DAG)?
До сих пор я копался в Hadoop (используется Amazon Elastic Map Reduce) и DryadLINQ. Очевидно, это включает в себя поиск в Google.