Я пытаюсь настроить идеи open edx на моем экземпляре Ubuntu.
Установка работает нормально до шага 5. После этого, когда я попытался запустить CourseEnrollmentEventsTask, получаю ошибку ниже
удаленная задача --host localhost --user ubuntu - удаленное имя_ аналитики - skip-setup --wait CourseEnrollmentEventsTask --local-scheduler --interval 2018 --verbose --override-config / home / ubuntu / edx-analytics-конвейер / config / devstack.cfg --n-redu-tasks 8 edx-аналитика конвейер / marker / -4077723021222861505-temp-2018-10-23T16-46-24.874897 2018-10-23 16: 46: 28,981 INFO25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:28 WARN streaming.StreamJob: опция -file устарела, используйте вместо нее универсальный параметр -files.2018-10-23 16: 46: 31,823 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:31 INFO client.RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032 2018-10-23 16: 46: 32,152 ИНФОРМАЦИЯ 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:32 ИНФО client.RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032 2018-10-23 16: 46: 34,331 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:34 INFO mapred.FileInputFormat: Общее количество входных путей для обработки: 211 2018-10-23 16:46:35,220 ИНФОРМАЦИЯ 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:35 ИНФОРМАЦИЯ mapreduce.JobSubmitter: количество сплитов: 211 2018-10-23 16: 46: 35,241 ИНФО 25647 [luigi-интерфейс] hadoop.py:339 - 18/10/23 16:46:35 INFO Configuration.deprecation: mapred.job.name устарело.Вместо этого используйте mapreduce.job.name 2018-10-23 16: 46: 35,242 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:35 INFO Configuration.deprecation: mapred.reduce.Задачи не рекомендуется.Вместо этого используйте mapreduce.job.reduces 2018-10-23 16: 46: 35,401 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:35 INFO mapreduce.JobSubmitter: отправка токенов для работы: job_1540309647275_0006 2018-10-23 16: 46: 35,720 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:35 INFO impl.YarnClientImpl: Подано приложение application_1540309647275_0006 2018-10-23 16:46: 35 786 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 16:46:35 INFO mapreduce.Job: URL-адрес для отслеживания задания: http://localhost:8088/proxy/application_1540309647275_0006/ 2018-10-23 16: 46: 35,793 ИНФОРМАЦИЯ 25647 [luigi-интерфейс] hadoop.py:339 - 18/10/23 16:46:35 ИНФОРМАЦИЯ mapreduce.Job: Выполнение задания: job_1540309647275_0006 2018-10-23 17: 09: 24,334 ИНФО 25647 [luigi-interface] hadoop.py:339 - 18/10/23 17:09:24 INFO mapreduce.Job: задание job_1540309647275_0006, работающее в режиме uber: false 2018-10-23 17: 09: 24,337 INFO 25647 [luigi-interface] hadoop.py: 339 - 18/10/23 17:09:24 ИНФОРМАЦИЯ mapreduce.Job: карта 0% уменьшить 0% 2018-10-23 17: 09: 24,353 ИНФО 25647 [luigi-interface] хадоop.py:339 - 18/10/23 17:09:24 ИНФОРМАЦИЯ mapreduce.Job: задание job_1540309647275_0006 не выполнено с состоянием KILLED из-за: приложения, убитого пользователем.2018-10-23 17: 09: 24,385 ИНФОРМАЦИЯ 25647 [luigi-interface] hadoop.py:339 - 18/10/23 17:09:24 ИНФОРМАЦИЯ mapreduce.Job: Счетчики: 0 2018-10-23 17:09:24,385 INFO 25647 [luigi-interface] hadoop.py:339 - 18/10/23 17:09:24 ОШИБКА streaming.StreamJob: задание не выполнено!2018-10-23 17: 09: 24,386 ИНФОРМАЦИЯ 25647 [luigi-interface] hadoop.py:339 - Команда потоковой передачи не выполнена!2018-10-23 17: 09: 24,732 ОШИБКА 25647 [luigi-interface] worker.py:213 - [pid 25647] Worker Worker (salt = 800759884, worker = 1, host = localhost, имя пользователя = hadoop, pid = 25647,sudo_user = root) сбой
CourseEnrollmentEventsTask (source = ["hdfs: // localhost: 9000 / data /"], интервал = 2018, расширение_интервала = 0 w 2 d 0 h 0 m 0 с, шаблон = [". tracking.log."], date_pattern =% Y% m% d, warehouse_path = hdfs: // localhost: 9000 / edx-analytics-pipeline / warehouse /) Трассировка (последний последний вызов): Файл"/var/lib/analytics-tasks/analyticstack/venv/src/luigi/luigi/worker.py ", строка 194, в запускеnew_deps = self._run_get_new_deps () Файл "/var/lib/analytics-tasks/analyticstack/venv/src/luigi/luigi/worker.py", строка 131, в _run_get_new_deps task_gen = self.task.run () File "/var / lib / analytics-tasks / analyticstack / venv / local / lib / python2.7 / site-packages / edx / analytics / tasks / insights / enrollments.py ", строка 152, в рабочем режиме super (CourseEnrollmentEventsTask, self) .run() Файл "/var/lib/analytics-tasks/analyticstack/venv/src/luigi/luigi/contrib/hadoop.py", строка 781, в прогоне файла self.job_runner (). Run_job (self) "/ var /lib / analytics-tasks / analyticstack / venv / src / luigi / luigi / contrib / hadoop.py ", строка 622, в run_job run_and_track_hadoop_job (arglist, файл tracking_url_callback = job.set_tracking_url) файл" / var / lib / analytics-tasks / analysta/venv/src/luigi/luigi/contrib/hadoop.py ", строка 390, в run_and_track_hadoop_job return track_process (arglist, tracking_url_callback, env) Файл" / var / lib / analytics-tasks / analyticstack / venv / src / luig / luigi/contrib/hadoop.py ", строка 380, в track_process (tracking_url, e), out, err) HadoopJobError: сбой потокового задания с кодом выхода 1. Кроме того, произошла ошибка при извлечении данных из http://localhost:8088/proxy/application_1540309647275_0006/: Нет модуля с именем mechanize 2018-10-23 17: 09: 24,751 INFO 25647 [luigi-interface]worker.py:501 - Информированный планировщик этой задачи
CourseEnrollmentEventsTask__Y_m_d_0_w_2_d_0_h_0_m__2018_4fba0fee90
имеет статус НЕИСПРАВНО 2018-10-23 17: 09: 24,789 INFO 25647 работник Worker - интерфейс 800 - рабочий интерфейс (luigi: интерфейс 88) (рабочий интерфейс: 80088)работники = 1, хост = localhost, имя пользователя = hadoop, pid = 25647, sudo_user = root) остановлен.Выключение потока Keep-Alive 2018-10-23 17: 09: 24,794 ИНФОРМАЦИЯ 25647 [luigi-interface] interface.py:208 -
Соединение с локальным хостом закрыто. Выход со статусом = 30