Проблема с dsbulk unload - PullRequest
Новая
       55

Проблема с dsbulk unload

1 голос
/ 15 апреля 2020

Я получаю следующие сообщения при выгрузке с использованием dsbulk. Я не могу понять, что это значит

[s0 | 347101951 | 0] Ошибка отправки запроса на отмену. Это не критично (запрос в конечном итоге истечет время ожидания на стороне сервера). (HeartbeatException: null)

Не отправлять пульс, поскольку предыдущий процесс все еще выполняется. Убедитесь, что advanced.heartbeat.interval не ниже, чем advanced.heartbeat.timeout.

Спасибо

1 Ответ

3 голосов
/ 15 апреля 2020

«Ошибка отправки запроса на отмену» типична для непрерывных пейджинговых запросов. Похоже, у координатора возникли проблемы по какой-то причине, поэтому вы также видите нарушения сердцебиения. Возможно, Dsbulk создает слишком большую нагрузку на кластер.

Вы не упомянули, какая именно версия dsbulk, но, предположив 1.4+, я бы порекомендовал попробовать следующие действия (по отдельности или в сочетании):

  1. Отключить непрерывную подкачку с помощью dsbulk.executor.continuousPaging.enabled = false (это может замедлить dsbulk).

  2. Использовать страницы меньшего размера, например, 1000 строк:

    1. Если нет при использовании непрерывной подкачки: datastax-java-driver.basic.request.page-size = 1000.
    2. При использовании непрерывной подкачки: datastax-java-driver.advanced.continuous-paging.page-size = 1000.

  3. Дроссель dsbulk для уменьшения нагрузки на кластер

    1. Либо «мягкий» газ, ограничивая количество одновременных запросов, например, 128: dsbulk.executor.maxInFlight = 128.
    2. , либо «жесткий» газ, ограничивая количество запросов в секунду, например, 500: dsbulk.executor.maxPerSecond = 500.
...