Соединение Zepplin BigQuery при ошибке Dataproc - PullRequest
Новая
       24

Соединение Zepplin BigQuery при ошибке Dataproc

1 голос
/ 26 апреля 2019

Я установил кластер Dataproc GCP с одним узлом и использовал действие инициализации для установки на него Zeppelin .

Когда я пытался получить доступ к образцу таблицы BigQuery с помощью простого запроса select sql, он выдает ошибку из пользовательского интерфейса Zeppelin: 

%bigquery.sql
SELECT * FROM `GCPPJ-238506.ML_DATASET.test`

подробности об ошибке: SQL Execution вернул ошибку!

Обратите внимание, я уже настроил доступ к учетным данным для служебной учетной записи, а также приведенные ниже значения для настроек в BigQuery Interpreter на Zeppelin: 

zeppelin.bigquery.max_no_of_rows    1000000
zeppelin.bigquery.project_id    GCPPJ-238506
zeppelin.bigquery.sql_dialect   standardSQL
zeppelin.bigquery.wait_time 5000000

1 Ответ

0 голосов
/ 14 июня 2019

Я следовал инструкциям в предоставленной ссылке Zeppeline , и она работала:

  1. Создайте кластер с помощью Zeppeline: кластеры gcloud dataproc создают zeppeline \ --initialization-actions gs: //dataproc-initialization-actions/zeppelin/zeppelin.sh

  2. Создать туннель: gcloud compute ssh zeppeline-m \ --project = dataproc-training-epam --zone = us-east1-b - \ -4 -N -L 8080: дирижабль-м: 8080

    Убедитесь, что вы включили входящий трафик на порт 22 вашего главного узла.

  3. Открыл Блокнот из Облачной оболочки, используя порт 8080 и (в Веб-превью).

  4. Я изменил диалект SQL, установив свойство zeppelin.bigquery.sql_dialect = standardSQL. Я выполнил запрос, и он работал.

Таким образом, я бы порекомендовал:

  • Подтвердите, что вы можете запрашивать другие наборы данных и таблицы, чтобы проверить правильность установки.
  • Убедитесь, что ваш набор данных и таблица доступны, например, выполнив тот же запрос из пользовательского интерфейса Bigquery.

С другой стороны, вы можете подключить Dataproc к Zeppelin через Zeppeline Component . Доступ к веб-интерфейсу осуществляется через шлюз компонентов, который все еще находится в Alpha, но вы можете попробовать его.

...