Я пишу поток данных Apache beam BAtch, в котором я пишу из GCS в BQ.Мои данные содержат 4 миллиона записей .Я указал n1-HighMem-8 тип машины. Мой поток данных работает с небольшим количеством данных.
В моем сценарии использования я не исправлена, поэтому я использовал .getFailedInserts() Метод для получения неудачных записей схемы не вставлен.
Я сгруппировал их и записал в BQ, используя задание загрузки BQ через GCS в том же потоке данных.
для этого количества данных я получаю следующую ошибку 7 раз, а затем мои ошибки потока данных:
E EXT4-fs (dm-0): не удалось подключить как ext3 из-за функциинесовместимость E Ошибка инициализации динамического подключаемого модуля плагина: Ошибка (повторное) создание каталога драйверов: mkdir / usr / libexec / kubernetes: файловая система только для чтения
E Ошибка инициализации динамического подключаемого модуля плагина: Ошибка (повторное) создание драйверакаталог: mkdir / usr / libexec / kubernetes: файловая система только для чтения E Сборка мусора образа не удалась один раз.Возможно, инициализация статистики еще не завершена: не удалось получить информацию о imageFs: не удалось найти данные для контейнера /
Сборка мусора изображений не удалась один раз.Возможно, инициализация статистики еще не завершена: не удалось получить информацию imageFs: невозможно найти данные для контейнера /
[ContainerManager]: не удалось получить информацию rootfs, не удалось найти данные для контейнера /
EУ PercpuUsage было 0 процессоров, но фактическое число - 8;игнорирование дополнительных процессоров E EXT4-fs (dm-0): невозможно подключить как ext3 из-за несовместимости функций
E EXT4-fs (dm-0): невозможно подключить как ext3 из-за несовместимости функций EОшибка инициализации динамического подключаемого модуля плагина: Ошибка (повторное) создание каталога драйверов: mkdir / usr / libexec / kubernetes: файловая система только для чтения
E Ошибка инициализации динамического подключаемого модуля плагина: Ошибка (повторное) создание каталога драйверов:mkdir / usr / libexec / kubernetes: файловая система только для чтения E Сборка мусора образа не удалась один раз.Возможно, инициализация статистики еще не завершена: не удалось получить информацию о imageFs: невозможно найти данные для контейнера /
Завершение работы JVM после 8 последовательных периодов измерения ГХ.Память используется / всего / max = 27662/33436/33436 МБ, GC last / max = 93.00 / 95.00%, # откатов = 0, gc thrashing = true.Дамп кучи не записан.