Как включить аналитику доступа к объектам в реальном времени в облачном хранилище Google? - PullRequest
Новая
       14

Как включить аналитику доступа к объектам в реальном времени в облачном хранилище Google?

1 голос
/ 18 апреля 2019

Я пытаюсь настроить журналы доступа в реальном времени для объектов, хранящихся в хранилище облачного хранилища Google. Журналы доступа, которые Google указывает здесь , генерируются каждый час и не будут работать.

Я хотел бы получить аналогичную информацию о доступе к объекту (ip, количество загруженных файлов, client_os), но в режиме реального времени. Есть ли способ сделать это на облачной платформе Google?

Если бы было лучше направить трафик через другую точку с помощью журналов в реальном времени, я был бы признателен за совет о том, как это сделать и с помощью каких инструментов. В конечном итоге я хочу, чтобы данные визуализировались в Google Data Studio.

Ответы [ 2 ]

2 голосов
/ 18 апреля 2019

К сожалению, Google Storage обеспечивает только следующие показатели: gcp-storage 

- api/request_count
- authz/acl_based_object_access_count
- authz/object_specific_acl_mutation_count
- network/received_bytes_count
- network/sent_bytes_count
- storage/object_count
- storage/total_byte_seconds
- storage/total_bytes

Я думаю, вы хотите получить доступ к журналу для ваших объектов, таких как изображения, видео и т. Д.Возможно, вы можете попробовать использовать Google Cloud CDN перед вашим ведром.Таким образом, вы можете получить требуемый журнал доступа, набрав httpRequest и получить от стека-драйвера 

{
  "requestMethod": string,
  "requestUrl": string,
  "requestSize": string,
  "status": number,
  "responseSize": string,
  "userAgent": string,
  "remoteIp": string,
  "serverIp": string,
  "referer": string,
  "latency": string,
  "cacheLookup": boolean,
  "cacheHit": boolean,
  "cacheValidatedWithOriginServer": boolean,
  "cacheFillBytes": string,
  "protocol": string
}
1 голос
/ 18 апреля 2019

Существует три типа журналов для облачного хранилища:

  1. Журналы доступа - обновляется при почасовой регистрации всех запросов для указанного сегмента.
  2. Журналы хранилища - обновляются ежедневно, предоставляя всю информацию об использовании хранилища за последний день.
  3. Журналы аудита - отслеживает доступ на постоянной основе , это рекомендуемый способ регистрации активности хранения для прошедших проверку пользователей.

Журналы аудита можно увидеть в консоли облачной платформы Google> Activity Stream Stream .

Фильтр типа ресурса: GCS bucket.

Более подробную версию журналов можно найти в Просмотр журналов .

Если вам необходимо использовать журналы для дальнейшей аналитики, для этого есть несколько вариантов , приведенных в документации по Google Cloud.Существует также пример запроса для визуализации данных в Data Studio. Проверьте больше пользовательских запросов для Data Studio здесь .

...