кирпичи данных остальные API странный отсутствующий параметр - PullRequest
Новая
       6

кирпичи данных остальные API странный отсутствующий параметр

0 голосов
/ 14 января 2020

Я заметил, есть неотвеченный вопрос о получении странного ответа от azure databricks rest api 2.0 при попытке создать кластер. 

error_code': 'INVALID_PARAMETER_VALUE', 'message': 'Missing required field: size'

Кто-нибудь решил эту проблему? Есть ли новый API? Или есть какие-то ошибки в этом?

Я действительно использовал пример из документации по мсам данных и мне пришлось изменить несколько вещей, но я использовал 

"autoscale": {
              "min_workers": 2,
              "max_workers": 8
                }

Я думал, что эта странная ошибка может быть связана с этим, поэтому я установил num_workers, это также привело к той же проблеме.

Другие изменения, которые я должен был сделать

  • Я использовал простую строку токена без кодирования (он не работал с кодированием).
  • Я использовал headers={"Authorization": "Bearer %s" % (TOKEN)} В противном случае произошла ошибка заголовка abotu.
  • Также я использовал (response.content) вместо попытки прочитать ошибку из json response.json()["error_code"], это вызвало ошибку (я не углубился в go, мне просто нужно было сообщение, что пошло не так)

1 Ответ

0 голосов
/ 14 января 2020

Хорошо. Я не знаю, является ли это правильным подходом, но на самом деле это создает прагматические кластеры на моем ресурсе azure. наряду с предыдущими изменениями, о которых я упоминал выше, я дополнительно удалил "new_cluster" (см. пример здесь ) и 

response = requests.post(
        'https://%s/api/2.0/clusters/create' % (DOMAIN),
        headers={"Authorization":  "Bearer %s" % (TOKEN)},
        json={
                "cluster_name": name.lower().strip(),
                "spark_version": "6.2.x-scala2.11",
                "node_type_id": "Standard_D3_v2",
                "spark_env_vars": {
                    "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
                },
                "spark_conf": {
                    "spark.databricks.cluster.profile": "serverless",
                    "spark.databricks.repl.allowedLanguages": "sql,python,r"
                },
                "autoscale": {
                    "min_workers": 2,
                    "max_workers": 8
                },
                "ssh_public_keys": [],
                "autotermination_minutes":50
        }
    )
...