Почему BigQuery Execution Engine Dremel необходимо загружать данные из файловой системы BigQuery в локальное хранилище перед их обработкой?

Question

Я попытался погрузиться в архитектуру BigQuery и был весьма сбит с толку собранной мной информацией об архитектуре BigQuery. Описывается, что механизм выполнения Dremel загружает данные из файловой системы BigQuery Colossus в локальное хранилище конечных узлов Dremel и обрабатывает их оттуда. Зачем нужно повторно сохранять данные в локальном хранилище вместо того, чтобы загружать их в память и обрабатывать сразу?

Кто-нибудь может помочь пролить свет?

Answer 1

Dremel не загружает данные из Colossus в локальное хранилище, а загружает их прямо в память. Если вы можете указать, где сказано иное, мы исправим это.