Использование .exe как часть картографа (Hadoop) - PullRequest
1 голос
/ 25 февраля 2011

Я пишу задание mapreduce для обработки двоичных файлов журнала.Исполняемый файл необходим для обработки файла, прежде чем будет получена соответствующая информация. Является ли сборщик Java-процессов лучшим способом повлиять на это?

1 Ответ

2 голосов
/ 26 февраля 2011

Если вам нужно запустить EXE, вам может не повезти, потому что Linux - единственная поддерживаемая платформа для Hadoop.Я слышал о людях, пробующих Hadoop на Cygwin, но это может быть трудная битва, пытаясь заставить эту конфигурацию работать.

Если вы все еще хотите использовать Hadoop, я бы предложил одно из следующего:

  • Используйте окно Windows, чтобы преобразовать ваши двоичные файлы журнала в промежуточный формат;тогда вы можете обработать это в Hadoop.
  • Переписать логику преобразования в Java
  • Если ваш exe-файл - C # /. NET, вы можете запустить его в Linux с использованием Mono и вызывать внешнюю программу с использованием потоковой передачи Hadoop.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...