Не удалось передать файлы из Google Cloud Storage.

Question

Недавно мы осуществили «локальную передачу» со старого сервера, который был выведен из эксплуатации, в корзину Google Cloud Storage, подключенную через docker. Общий размер передачи составил 365 ГБ. Консоль показывает, что передача была завершена на 100% при передаче данных на 365 ГБ, но консоль указывает, что передача не удалась, поскольку «2 файла не удалось передать». Однако нигде не перечислено , какие файлы не удалось. На странице сведений об ошибке «нет результатов», а на странице сводки о передаче их нет. Я подозреваю, что файлы несущественны, но я хотел бы проверить. Как узнать, какие файлы не удалось передать?

Answer 1

Просто для пояснения комментария VirtualMitra - в дополнение к локальным журналам, которые Служба переноса генерирует на машинах, где работают агенты (в основном это информация о том, что произошло с отдельными процессами агента), продукт отслеживает статус каждого файла для устранения неполадок. ,

Существует два способа просмотра ошибок передачи:

1. Вы можете сразу увидеть быстрый выбор небольшой выборки ошибок непосредственно в GUI. Вы можете следовать приведенным здесь инструкциям о том, как просмотреть эти примеры ошибок на странице сведений о работе .
2. Если вы хотите обработать все ошибки, вы можете увидеть полный список всех ошибок в журнал передачи, в отформатированном файле TSV с большим количеством подробной информации о том, что произошло с каждым файлом, в том числе, когда файл был посещен, контрольные суммы вычислены, если файл был успешно скопирован, и любые сообщения об ошибках, которые не были разрешены с помощью автоматического c повторов. Вы можете найти больше информации о , где хранятся эти журналы и формате данных, хранящихся в журналах . Эти объекты генерируются при каждой выполненной передаче и могут быть загружены в инструмент по вашему выбору для подробного устранения неполадок / запросов при необходимости (например, BigQuery).

Все вышеперечисленное непосредственно доступно для пользователя передачи, вам не нужно go через службу поддержки для доступа к этим данным.

Answer 2

Поскольку ваш вопрос требует более подробного просмотра журналов, чтобы определить причину сбоя передачи

Я рекомендую вам обратиться в Техническую поддержку Google Cloud Platform , чтобы решить эту проблему

Вы можете проверить эти каналы поддержки и поднять там свои технические проблемы с облачным хранилищем.

Если вы просто хотите просмотреть свои журналы и вам не требуется более глубокое исследование, вам просто нужно найти свои журналы в выбранный каталог.

В соответствии с публикацией c документации , чтобы хранить журналы передачи, вы должны использовать флаг --log-dir=logs-directory. После этого вы сможете проверить журналы передачи , чтобы определить причину сбоя этих файлов. Если вы не использовали этот флаг, вам нужно будет снова запустить задание на передачу

В документации publi c имеется полная [секция устранения неполадок] (https://cloud.google.com/storage-transfer/docs/troubleshooting-on-prem) в случае, если вы хотите знать, как решить определенные c проблемы с вашим переводом