Как транслировать логи в корзину Google Cloud Storage, такую ​​как Google Cloud Build - PullRequest
0 голосов
/ 24 марта 2020

Я хотел бы «транслировать» содержимое некоторых файлов журналов на некоторых машинах Google Cloud в корзину Google Cloud Storage, но для меня не очевидно, как бы я справился с этим.

Результат должен быть похожими на логи Google Cloud Build, доступные во время их производства.

Есть предложения?

Спасибо!

1 Ответ

0 голосов
/ 24 марта 2020

В зависимости от того, что вы хотите сделать, Stackdriver и его встроенный монитор могут делать то, что вы хотите (извините, это называется Операции сейчас) https://cloud.google.com/products/operations.

Если нет, и вы действительно хотите, чтобы это было go для GCS или чего-то подобного (хотя, опять же, в зависимости от того, что вы хотите, маршалинг журналов в более структурированные данные и помещение их в базу данных может иметь больше смысла) лучшим способом IMO было бы отправлять журналы в локальный файл и по таймеру или системному наблюдателю, который просматривает размер журнала и т. д. c, вращает журнал и загружает файл в GCS. Я делал такие вещи, используя задание cron и сценарий оболочки, который использует gsutil (https://cloud.google.com/storage/docs/gsutil), чтобы загрузить файл в GCS, а затем удалить его локально.

Редактировать: Извините Я видел, что вы хотите, чтобы он был доступен "вживую" ... это немного сложнее, но я бы реализовал нечто подобное, как я описал, где журналы записываются в БД, такую ​​как Cloud SQL в этом случае. Я не думаю, что GCS является подходящим инструментом для такой «живой» лог-ситуации. Если вы не можете получить то, что вам нужно, из Stackdriver (и есть такие вещи, которые называются приемниками, которые вы можете записать, и которые разбирают Stackdriver в опции db, если вы посмотрите туда), то, вероятно, лучшим выбором будет запись непосредственно в базу данных. Облако SQL имеет очень низкую задержку, поэтому может быть доступно для других процессов. Если вы хотите использовать подход без SQL, BigTable или Firestore являются хорошими вариантами.

...