Достаточно похожих вопросов и ответов по SO. Однако мало сказано о приставках. Во-первых, рандомизация префиксов больше не нужна, см. здесь
Это повышение производительности по частоте запросов S3 устраняет любые предыдущие указания рандомизировать префиксы объектов для достижения более высокой производительности. Это означает, что теперь вы можете использовать логические или последовательные шаблоны именования в именовании объектов S3 без каких-либо последствий для производительности.
Теперь вернемся к моей проблеме. Я все еще получаю "SlowDown", и я не понимаю, почему.
Все мои объекты распределены следующим образом:
/ foo / bar / baz / node_1 / folder1 / file1.bin
/foo/bar/baz/node_1/folder1/file2.bin
/foo/bar/baz/node_1/folder2/file1.bin
/foo/bar/baz/node_2/folder1/file1.bin
/ foo / bar / baz / node_2 / folder1 / file2. bin
Каждый узел имеет свой собственный префикс, за которым следует имя «папки», затем «имя файла». В каждой «папке» около 40 «файлов». Допустим, у меня ~ 20 узлов, около 200 «папок» под каждым узлом и 40 «файлов» под каждой папкой. В этом случае префикс состоит из общей части "/ foo / bar / baz", узла и папки, поэтому даже если я загружаю все 40 файлов параллельно, давление на один префикс равно 40, верно? И даже если я загружаю 40 файлов в каждую «папку» со всех узлов, давление все равно 40 на префикс. Это правильно? Если да, то почему я получаю "SlowDown"? Если нет, как я должен позаботиться об этом? Кастом RetryStrategy? Почему DefaultRetryStrategy, в котором используется экспоненциальный откат, не решает эту проблему?
EDIT001: Здесь объяснение, что означает префикс