Google BigQuery очень медленно работает с небольшим набором данных

Question

Я тестирую Google BigQuery для замены традиционных баз данных, которые мы использовали в прошлом (PostgreSQL / MySQL), но обнаружили, что производительность чрезвычайно (и странно) медленная.

Загружено ~ Набор данных 6 МБ (~ 44 000 строк) для тестирования.

Попытка выполнить несколько простых запросов:

SELECT Sub_Category, COUNT (*) AS COUNT FROM rnd-projects-247203 .test.data GROUP BY Sub_Category

Может ли кто-нибудь помочь мне объяснить, почему такой простой запрос для небольшого набора данных выполняется более 20 секунд? Я сделал что-то не так в настройке / нужно сделать что-то по-другому?

Скриншот сведений о выполнении

Спасибо!

Добавлено: Подробности выполнения расширены в разделе S00

Данные получены и загружены из файла .csv на Google Диске

Снимок экрана со сведениями о выполнении - расширен

Answer 1

BigQuery - это хранилище данных в петабайтном масштабе. Лучше всего дополняет традиционную базу данных. Не следует рассматривать вместо MySql / Postgres.

BigQuery действительно быстр для крупномасштабных запросов, например, 3-10 секунд для терабайтного / петабайтного масштаба. Для небольших запросов время выполнения также составляет около 1-2 секунд. Во всяком случае, не 20 миллисекунд, как на транзакционных базах данных.