Как убедиться, что BI Engine работает? - PullRequest
1 голос
/ 19 апреля 2019

Я следовал инструкциям, найденным здесь https://cloud.google.com/bi-engine/docs/getting-started-data-studio Я также пытался сделать резервирование в регионе, который я использую (Лондон) для своего собственного набора данных. Я не видел никакой разницы «до» и «после», также я не вижу никаких журналов в StackDriver. Поэтому я предполагаю, что это не работает по какой-либо причине. Но я понятия не имею, как начать его отладку - кажется, что он должен каким-то образом автоматически интегрироваться в рабочий процесс BigQuery, без каких-либо дополнительных настроек, но это делает его очень сложным для тестирования и отладки!

Я не уверен, с чего начать. Я предполагал, что мои взаимодействия с «DataStuio Explorer» станут быстрее в N раз после правильного включения BI Engine. Это правильное предположение?

1 Ответ

0 голосов
/ 09 мая 2019

BQ BI Engine все еще находится в бета-версии, но в GCP есть некоторые данные, которые могут ответить на ваши запросы:

  • Я не видел никакой разницы "до" и "после",также я не вижу никаких журналов в StackDriver.Поэтому я предполагаю, что это не работает по какой-либо причине.

После того, как вы создадите резервирование, оно будет доступно, и расходы будут применяться не во время периода бета-тестирования, а когда оно будет передано в GA.

Для получения дополнительной информации о журналах и показателях Stackdriver см. Мониторинг BI Engine с помощью Stackdriver .

Например, в журналах проекта BigQuery вы найдете записи следующего типа:

[TIMESTAMP] API BigQuery BI Engine CreateReservation europe

Эти записи журнала указывают, чтоBI Engine включен и работает;емкость была зарезервирована, но еще не использовалась.В этом руководстве описываются определенные обстоятельства, при которых используется механизм BI, см. Мой следующий ответ.

  • Но я понятия не имею, как начать его отладку - кажется, что он должен каким-то образом автоматически интегрироваться в BigQueryрабочий процесс, без каких-либо дополнительных настроек

Следующее руководство указывает, что « BI Engine использует таблицу и столбцы, которые вы настраиваете, чтобы определить, какие данные следует кэшировать. BI Engine кэширует только те столбцы, которые вы добавилик вашему сообщению".Поскольку резервирование создается в местоположении в США, если вы сравните свои результаты с другими наборами данных в том же месте, будет использоваться то же резервирование емкости, и, скорее всего, не будет обнаружено никакой разницы во времени выполнения.Чтобы убедиться в этом, вы можете использовать набор данных в месте, где не существует резервирования емкости, и сравнить время выполнения.

  • Я предполагал, что мои взаимодействия с «DataStuio Explorer» станут в N раз быстрее, если BI Engine правильно включен.Это правильное предположение?

Это верно, поскольку BI Engine - это «служба анализа в памяти», которая обеспечивает более быстрый отклик по сравнению с использованием слотов.Просто учтите, что в документации также указывается, что « Если вы запускаете запрос, который дает результаты запроса, превышающие размер вашей мощности BI Engine, функция самонастройки BI Engine использует слоты BigQuery для выполнения запроса », еслиВаши данные всегда превышают резервирование емкости, скорее всего, вы не заметите улучшения производительности.

Наконец, обратите внимание, что это бета-версия продукта и имеет ограниченную поддержку.

...