проблема уменьшения карты cygwin hadoop

Question

У меня проблема с получением примера карты / сокращения для работы на cygwin: http://www.michael -noll.com / tutorials / writing-an-hadoop-mapreduce-program-in-python /

При использовании cygwin передача -mapper = mapper.py приводит к "ошибке CreateProcess = 193,% 1 не является допустимым приложением Win32"

Я пытаюсь использовать -mapper = "python mapper.py", это выдает ошибку: java.lang.RuntimeException: PipeMapRed.waitOutputThreads (): ошибка подпроцесса с кодом 1

У кого-нибудь есть успех при запуске карты / сокращения hadoop с использованием python под cygwin?

Спасибо.

Answer 1

У меня был успех с этим уроком под Cygwin.Я использую hadoop-0.20.2, под Cygwin 1.7.9-1 на WinXP.Я не видел вашего точного сообщения ... Я отвечаю, хотя, потому что у меня были некоторые проблемы с опцией -mapper, и я решил ее, поместив скрипты python в каталог / tmp.Я видел некоторые сообщения об ошибках, которые заставили меня подумать, что возникла путаница в том, как каталог / home был назван в Cygwin.Я решил избежать этого с помощью / tmp и добился успеха.Кстати, я тоже использовал одинарные кавычки.Иногда вставка двойных кавычек в Windows дает вам символ, которого не понимает процесс Unix.

Кстати, я также использовал урок re.запускать Hadoop под Cygwin и Eclipse здесь: http://ebiquity.umbc.edu/Tutorials/Hadoop/ Материал Eclipse / Java ближе к концу не работал для меня, и я не планировал работать с Hadoop.Первые несколько шагов, тем не менее, были полезны для запуска псевдокластера.