Хотя это не тот ответ, который вы, возможно, захотите услышать, я настоятельно рекомендую переназначить машины, скажем, на серверы Linux, и запустить там Hadoop. Вы получите пользу от уроков, опыта и тестирования, проведенных на этой платформе, и потратите свое время на решение бизнес-задач, а не операционных проблем.
Тем не менее, вы все еще можете написать свою работу в C #. Поскольку Hadoop поддерживает реализацию потоковой передачи, вы можете написать свою работу на любом языке. С платформой Mono вы сможете взять практически любой код .NET, написанный на платформе Windows, и просто запустить тот же двоичный файл в Linux.
Вы также можете довольно легко получить доступ к HDFS из Windows - хотя я не рекомендую запускать службы Hadoop в Windows, вы, безусловно, можете запустить клиент DFS с платформы Windows для копирования файлов в распределенную файловую систему и из нее.
Для отправки и отслеживания заданий, я думаю, что вы в основном сами по себе ... Я не думаю, что для управления заданиями Hadoop созданы какие-либо хорошие системы общего назначения.