Поток данных: установите DataflowPipelineDebugOptions - PullRequest
0 голосов
/ 01 февраля 2019

Мой конвейер постоянно выдает ошибки OOM, поэтому я читаю следующий ответ и пытаюсь установить --dumpHeapOnOOM и --saveHeapDumpsToGcsPath.Но похоже, что эти опции не работают.Нужно ли менять свой код или что-то еще?

Профилирование памяти в облачном потоке данных Google Cloud

1 Ответ

0 голосов
/ 01 февраля 2019

Вы захотите проверить configuring-pipe-options .

Текущий способ настройки опции конвейера в командной строке в Apache Beam (2.9.0) - --<option>=<value>.

В вашем случае вы можете установить --dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"

...