spark-submit в кластер kubernetes на облаке Google получил 401 несанкционированный

Question

Это довольно стандартное действие с искрой-отправкой, что странно в том, что я время от времени получаю 401, если я просто подожду несколько минут, я смогу снова бежать, пока в следующий раз не получу 401.

это очень похоже на эту проблему https://jira.apache.org/jira/browse/SPARK-24227

Мне просто интересно, не настраиваю ли я право GOOGLE_APPLICATION_CREDENTIAL при отправке, но в самом начале я не установил никаких учетных данных и все еще могу работать.

У кого-нибудь есть похожие проблемы?

Answer 1

Это небольшая ошибка, когда Spark не может обновить токен доступа.Обходной путь:

• Запустите фиктивную команду kubectl, чтобы обновить токен доступа.Например: kubectl получить пространство имен