Можно ли запланировать ведение журнала StackDriver для экспорта журнала?

Question

Я новичок в Google Cloud StackDriver Logging и согласно этой документации StackDriver хранит журналы аудита доступа к данным в течение 30 дней. Также на той же странице упоминается, что размер записи журнала ограничен 100 КБ.
Мне известно о том, что журналы можно экспортировать Облачное хранилище Google , используя Cloud SDK , а также Библиотеки журналов на многих языках (мы предпочитаем Python) ,
У меня есть два вопроса, связанных с экспортом журналов:

1. Есть ли способ в StackDriver запланировать что-то похожее на задачу или cronjob, которые продолжают экспортировать журналы в хранилище Google Cloud автоматически через фиксированный интервал времени?
2. Что происходит с записями журнала, размер которых превышает 100 КБ. Я предполагаю, что они усечены. Правильно ли мое предположение? Если да, есть ли способ экспортировать / просмотреть полную (не урезанную) запись журнала?

Answer 1

Есть ли в StackDriver какой-либо способ запланировать что-то похожее на задачу или задницу, которая автоматически экспортирует журналы в хранилище Google Cloud через определенный промежуток времени?

Stackdriver поддерживаетэкспорт данных журнала через sinks.Нет расписания, которое вы можете установить, так как все автоматически.В основном, данные экспортируются as soon as possible, и вы не можете контролировать количество, экспортируемое в каждом приемнике, или задержку между экспортом.Я никогда не считал это проблемой.Ведение журнала, по замыслу, не должно использоваться в качестве системы реального времени.Наиболее близким является прием в PubSub с задержкой в ​​пару секунд (исходя из моего опыта).

Существует два способа экспорта данных из Stackdriver:

1. Создание приемника экспорта,Поддерживаемые направления: BigQuery, Cloud Storage и PubSub.Записи журнала будут записаны в место назначения автоматически.Затем вы можете использовать инструменты для обработки экспортированных записей.Это рекомендуемый метод.
2. Напишите свой собственный код на Python, Java и т. Д., Чтобы читать записи журнала и делать с ними то, что вы хотите.Планирование зависит от вас.Этот метод является ручным и требует управления расписанием и назначением.

Что происходит с записями журнала, размер которых превышает 100 КБ.Я предполагаю, что они усечены.Правильно ли мое предположение?Если да, есть ли способ экспортировать / просмотреть полную (не урезанную) запись журнала?

Записи, превышающие максимальный размер записи, не могут быть записаны в Stackdriver,Вызов API, который пытается создать запись, завершится неудачно с сообщением об ошибке, похожим на (сообщение об ошибке Python):

400 Log entry with size 113.7K exceeds maximum size of 110.0K

Это означает, что слишком большие записи будут отброшены, если у писателя нет логики для обработкиэто дело.

Answer 2

Согласно документации регистрации драйверов стека весь процесс происходит автоматически. Экспортный приемник в облачное хранилище Google работает медленнее, чем Big / Query и Cloud sub / pub. ссылка на документацию

Недавно я использовал экспортный приемник для большого запроса, который лучше, чем облачный паб / саб, если вы не хотите использовать стороннее приложение для анализа журналов. Для Bigquery приемник нужен набор данных, где вы хотите хранить записи журнала. Я заметил, что мойка создает таблицу больших запросов на основе меток времени в наборе данных bigqeury.

Еще одна вещь, если вы хотите запросить таблицы с метками времени, проверьте эту ссылку Устаревшие функции и операторы SQL