Файл /dataproc/v1/PropertiesValue.yaml не найден - PullRequest
Новая
       21

Файл /dataproc/v1/PropertiesValue.yaml не найден

1 голос
/ 23 октября 2019

Я пишу yaml для создания экземпляра кластера DataProc из файла YAML. Я хочу добавить lzo сжатие в мой кластер, поэтому я переопределяю свойства в файле. Файл YAML, который я написал до сих пор, выглядит следующим образом: 

placement:
  managedCluster:
    clusterName: batch-job
    config:
      gceClusterConfig:
        zoneUri: asia-south1-a
      masterConfig:
        diskConfig:
          bootDiskSizeGb: 15
          bootDiskType: pd-standard
        machineTypeUri: n1-standard-4
      softwareConfig:
        imageVersion: 1.4-ubuntu18
        properties:
          core:io.compression.codecs: org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec
          core:io.compression.codec.lzo: com.hadoop.compression.lzo.LzoCodec
      workerConfig:
        diskConfig:
          bootDiskSizeGb: 15
        machineTypeUri: n1-standard-4
        numInstances: 2

Когда я пытаюсь запустить этот файл командой 

 gcloud dataproc workflow-templates instantiate-from-file --file ${FILE_NAME}

Я получаю сообщение об ошибке 

ERROR: (gcloud.dataproc.workflow-templates.instantiate-from-file) File not found /usr/local/Caskroom/google-cloud-sdk/latest/google-cloud-sdk/lib/googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml

Я проверил этот путь, у него есть файлы проверки для YAML, но файл PropertiesValue.yaml отсутствует. В файле SoftwareConfig.yaml говорится, что для свойства тегом ref является файл PropertiesValue.yaml.

Я что-то упустил, пожалуйста, помогите мне.

Ответы [ 2 ]

2 голосов
/ 23 октября 2019

Файл googlecloudsdk/schemas/dataproc/v1/PropertiesValue.yaml действительно отсутствует. Это ошибка, которую можно отследить здесь:

https://issuetracker.google.com/140882062

Очевидно, ошибка была введена в версии 262 Google Cloud SDK, когда gcloud dataproc переключился с использования API v1beta2 на v1.

Существует как минимум два обходных пути:

a) Используйте Google Cloud SDK версии 261.

b) Скопируйте файл googlecloudsdk/schemas/compute/alpha/PropertiesValue.yaml в отсутствующее место (см. Выше). ). Файл представляет собой схему для общей карты ключ / значение и не относится к Compute или Dataproc. Точные пути зависят от вашего способа установки и ОС, сравните с сообщением об ошибке.

1 голос
/ 23 октября 2019

Извините за это!

Я также отметил ошибку, но в качестве временного решения вы можете использовать версию команды gcloud beta, которая не имеет проблемы. gcloud beta dataproc workflow-templates instantiate-from-file --file ${FILE_NAME}

Мы постараемся исправить это в следующем выпуске gcloud (через неделю или две).

...