boto ElasticMapReduce регулирование и ограничение скорости - PullRequest
Новая
       61

boto ElasticMapReduce регулирование и ограничение скорости

4 голосов
/ 16 мая 2011

Я несколько раз сталкивался с ограничением скорости из Amazon EMR через API boto со следующим: 

boto.exception.EmrResponseError: EmrResponseError: 400 Bad Request
<ErrorResponse xmlns="http://elasticmapreduce.amazonaws.com/doc/2009-03-31">
  <Error>
    <Type>Sender</Type>
    <Code>Throttling</Code>
    <Message>Rate exceeded</Message>
  </Error>
  <RequestId>69d74a63-7de3-11e0-aafc-2b540b1e5f42</RequestId>
</ErrorResponse>

Операция является одноразовой операцией, запрашивающей состояние потока заданий, поэтому не должно быть никакого ограничения скорости. Кто-нибудь еще сталкивался с этим вопросом? Кроме того, кажется, что нет большого количества документации по ограничению / ограничению скорости EC2 и EMR ...

1 Ответ

3 голосов
/ 09 мая 2012

Почти все (если не все) API-интерфейсы AWS ограничены по скорости.Даже чтение данных создает нагрузку на их службы (некоторые больше, чем другие), поэтому они защищают себя, ограничивая частоту запросов, которые каждая учетная запись может делать.Согласно документам AWS, рекомендуемый подход к решению проблемы регулирования заключается в реализации экспоненциального отката в логике повторных попыток.

...