Тайм-аут для чтения из Alluxio - PullRequest
0 голосов
/ 12 ноября 2018

Я столкнулся с этой ошибкой при выполнении запроса Presto на Alluxio. Что означает этот тайм-аут, и как я могу это исправить?

com.facebook.presto.spi.PrestoException: Ошибка при открытии Hive split alluxio: // xxxxx: 19998 / s3 / data / m-00020 (смещение = 134217728, длина = 67108864) с использованием org.apache.hadoop.mapred.TextInputFormat: Время ожидания для чтения 39963328512 из [id: 0x23615709, L: / xxxxx: 34740 - R: ххххх / ххххх: 29999]

1 Ответ

0 голосов
/ 15 ноября 2018

Эта ошибка появляется, когда работнику Alluxio требуется слишком много времени (настраивается с помощью alluxio.user.network.netty.timeout) для предоставления данных клиенту.

Один простой обходной путь - увеличить время ожидания.

Однако это, как правило, признак перегрузки работника каким-либо образом. Общие вещи для проверки в вашей настройке:

  1. Рабочая нагрузка Alluxio, возможно проблема, если ваши вычисления совмещены и отсутствует управление ресурсами
  2. Работник Alluxio, находящийся под нагрузкой / пропускной способностью файловой системы, часто является узким местом для удаленных хранилищ, например хранилищ объектов.

Если это узкие места, вы можете попытаться уменьшить параллелизм или увеличить количество узлов в кластере.

...