Каков общий термин для таких технологий, как AWS Athena (Presto) и GCP BigQuery?

Question

С точки зрения пользователя, Athena и BigQuery принимают sql-подобный запрос, оба они запрашивают файлы, сохраненные на диске (без необходимости настройки реляционной базы данных), и оба возвращают результаты (обычно очень быстро). У таких технологий есть имя? то есть есть ли общий термин для таких технологий, как AWS Athena и GCP BigQuery?

Answer 1

Они оба являются распределенными механизмами SQL-запросов для больших [на месте] данных. Athena основана на Presto , который объявляет себя распределенным механизмом запросов SQL для больших данных .

Apache Drill был основан на оригинальном дизайне BigQuery и определяет себя как бессхемный движок SQL-запросов для Hadoop, NoSQL и облачного хранилища

Три вещи, которые их определяют, - это возможность запуска SQL, их распределенная природа, позволяющая им работать в масштабе для интерактивных запросов, и возможность запрашивать данные без необходимости их предварительной загрузки.

Обратите внимание, что в случае с BigQuery изначально необходимо будет принять данные, и это по-прежнему предпочтительный способ работы, даже если запрос данных непосредственно из GCS был доступен в течение ряда лет. Афина работает только с внешними таблицами.

Answer 2

Google BigQuery - это бессерверное хранилище данных, которое поддерживает сверхбыстрые запросы SQL для параллельного анализа данных.Amazon Athena - это серверная интерактивная служба запросов, которая позволяет удобно анализировать данные, хранящиеся в Amazon Simple Storage Service (S3), параллельно используя базовый SQL.

Обе технологии можно рассматривать как MPP. (массивно параллельная обработка) систем, поскольку обе технологии обрабатывают аналитику данных параллельно.