Что является более производительным в разделении ключей с одним ключом и несколькими ключами? - PullRequest
0 голосов
/ 13 ноября 2018

При выполнении запросов в Афине какой синтаксис лучше и почему? Или это вообще имеет значение?

  • Простое разбиение по дате: s3: //example/2018-01-01 или
  • несколько разделов в год, месяц, день: s3://example/2018/01/01

Ответы [ 2 ]

0 голосов
/ 14 ноября 2018

Это зависит от многих вещей ... от вашего объема данных за день, за месяц и т. Д. Слишком много маленьких файлов не годятся для Афины.Также важно, как вы запрашиваете ваши данные.Пожалуйста, посмотрите статью AWS ниже для большей идеи.

https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/

0 голосов
/ 13 ноября 2018

Вы можете решить, какой раздел будет более эффективным, только если вы знаете, какую информацию вы ищете.Несколько разделов используются, когда хранимые данные слишком велики для размещения в одном разделе.Использование более одного столбца для ключа раздела разбивает данные на куски или сегменты.Данные все еще сгруппированы, но небольшими порциями.Этот метод может быть эффективен, если кластер испытывает «горячую точку» или перегрузку при неоднократной записи данных на один узел из-за интенсивной записи раздела.

...