Spark 2.3 AsyncEventQueue Ошибка и предупреждение - PullRequest
Новая
       35

Spark 2.3 AsyncEventQueue Ошибка и предупреждение

0 голосов
/ 25 мая 2018

Я выполняю код, интенсивно использующий память, в котором я создал конвейер, который состоит из:

  1. Нахождение наилучшего числа бинов с использованием алгоритма Shimazaki и Shinomoto's Bin Width.

  2. Создание нового столбца с помощью Bucketizing того же столбца с соответствующими значениями бина, найденными сверху.

  3. Расчет веса доказательств по 8 последовательным SQLзапросы.

Конфигурация: Python - 3,6

Spark - 2,3

Среда - автономный компьютер (16 ГБ ОЗУ и жесткий диск 500 ГБ с процессором i7)

IDE - Pycharm

Я сомневаюсь, что он работает, как ожидалось, но выдает следующие ОШИБКИ и ПРЕДУПРЕЖДЕНИЯ, даже если задание завершается успешно.

Любая подсказка, почему яполучаю ниже?Есть ли необходимость в настройке, чтобы оптимально использовать доступную память при отправке с помощью spark?

К вашему сведению - в настоящее время я просто работаю с кнопкой Pycharm Run, а не с помощью spark, хотя внутренне она делает то же самое. 

2018-05-25 18:13:06 ERROR AsyncEventQueue:70 - Dropping event from queue appStatus. This likely means one of the listeners is too slow and cannot keep up with the rate at which tasks are being started by the scheduler.
2018-05-25 18:13:07 WARN  AsyncEventQueue:66 - Dropped com.codahale.metrics.Counter@4382d088 events from appStatus since Thu Jan 01 05:30:00 IST 1970.
...