Я экспортирую метаданные актива в GCS с помощью команды «gcloud asset export». Я использую инструмент генератора схемы BigQuery, чтобы сгенерировать схему из этих необработанных данных JSON и загрузить эти данные в таблицу BigQuery, используя сгенерированную схему.Однако необработанные данные JSON имеют два дублирующих поля - «IPProtocol» и «ipProtocol», что приводит к сбою загрузки данных в bq.
Я не уверен, почему экспортируемые данные имеют дублирующиеся поля, как когда япроверьте в консоли, что ресурс (брандмауэр) не отображает дубликаты полей.
Я попытался с помощью команды jq переименовать эти дубликаты полей в файле необработанных данных json, который содержит метаданные актива. Но ему все еще нужны некоторыеработать, как это дает мне ошибки.
$ bq mk inventory_dataset.2019_09_20_11_00_00 schema.json Ошибка BigQuery в операции mk: поле resource.data.allowed.ipProtocol уже существует в схеме
Я хотел быизбавьтесь от этих повторяющихся полей, чтобы я мог экспортировать данные в большие запросы.