Цель состоит в том, чтобы хранить журнал аудита из разных приложений / заданий и иметь возможность агрегировать их по некоторым идентификаторам.Мы решили использовать BigQuery для этой цели, поэтому нам нужно получить структурированную информацию из журналов в BigQuery.
Мы успешно используем приложения, развернутые в движке kubernetes, которые регистрируют журналы вывода в stdout в виде строки json, и этоанализируется, и структура может рассматриваться в стекдрайвере как jsonPayload.Мы взяли его из этого учебного пособия .
Однако, когда я использую одно и то же приложение журнала из задания потока данных, оно не обрабатывается как структурированное сообщение и рассматривается как строка в jsonPayload.messagefield.
Мне нужна структура для двух вещей:
Какой самый простой способ добиться этого?