Веб-интерфейс Dataproc не отображает такие показатели, как «Загрузка ЦП» - PullRequest
0 голосов
/ 21 декабря 2018

Я использую MLLIb Spark Jobs в Google Dataproc.Эти задания требуют значительных вычислительных ресурсов и занимают более 20 минут.

Однако, когда я перехожу к веб-интерфейсу «Сведения о кластере», где он отображает «использование ЦП» в графической форме,Я получаю только сообщение «Нет данных за этот промежуток времени», независимо от того, какой интервал я выбрал.

Для меня это совершенно неработающий интерфейс.Не только для меня, но и для других людей в моей компании, которые играют с Dataproc.

Есть идеи о том, что может произойти?Может быть, проблема с часовым поясом?

1 Ответ

0 голосов
/ 28 декабря 2018

21 декабря произошел сбой для GCS , который был связан с облачными функциями и созданием облака, а не с Dataproc, не уверен, что это затронуло Dataproc, но, похоже, сегодня все в порядке тест в моей консоли , не могли бы вы подтвердить, что проблема не устранена?

Имейте в виду, что если экземпляры были остановлены на длительное время, скорее всего, это является причиной сообщения «Нет данных за этот промежуток времени», я получаю точно такое же сообщение, когда я выключаю кластер на 6ч.

С другой стороны, даже если использование CPU в вашей консоли может быть хорошим вариантом для мониторинга кластера Dataproc, я настоятельно рекомендую проверить пользовательский интерфейс YARN для более глубокого обзора использования кластера.

...