HIVE_CURSOR_ERROR: уменьшите количество запросов

Question

Я выполняю простой запрос к моей корзине s3 с журналами CloudTrail. Ведро большое, и примерно через 1 мин 45 с я получаю сообщение об ошибке

HIVE_CURSOR_ERROR: Пожалуйста, уменьшите частоту запросов.

Есть ли способ ограничить частоту запросов к моей корзине s3 в Афине?

SELECT *
FROM default.cloudtrail_logs_cloudtraillog
WHERE eventname = 'DeleteUser' AND awsregion = 'us-east-1'

Answer 1

Итак, я обобщу решения, предложенные AWS. Ни один из них не велик, и я удивляюсь, почему AWS не остановил бы их на своем конце, а вместо этого выбросил бы ошибку.

По умолчанию S3 автоматически масштабируется для поддержки очень высоких уровней запросов. Когда ваша частота запросов масштабируется, S3 автоматически разбивает ваш сегмент S3 по мере необходимости для поддержки более высокой частоты запросов. Однако иногда это все равно приводит к ошибкам. Поэтому они предлагают подождать (не предлагая временные рамки), чтобы дать S3 достаточно времени для автоматического разделения вашего сегмента на основе частоты запросов, которую он получает.

Они также предлагают:

1) Использование утилиты S3distcp для объединения небольших файлов в большие объекты. https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

2) Разделение https://docs.aws.amazon.com/athena/latest/ug/partitions.html