Нажатие на исключение BadRequest / ForbiddenException при доступе к таблице больших запросов на основе электронной таблицы

Question

У меня есть таблица BigQuery, источником данных которой является электронная таблица Google. Я пытаюсь использовать python для доступа к этой таблице, но я сталкиваюсь со следующей ошибкой google.api_core.exceptions.BadRequest: 400 Error while reading table: datset.table, error message: Failed to read the spreadsheet. Errors: com.google.apps.framework.request.ForbiddenException: Permission denied [S]#RITZ#369137407806#topTeRwnQcmrdMeVQ98ZkGA

Мое приложение аутентифицировано токеном ServiceAccount JSON с ролями администратора BigQuery, и вот как создается мой клиент:

from google.oauth2.service_account import Credentials

import os

scopes = [
    'https://www.googleapis.com/auth/bigquery',
    'https://www.googleapis.com/auth/cloud-platform',
    'https://www.googleapis.com/auth/drive',
]

credentials = Credentials.from_service_account_file(os.environ['GOOGLE_APPLICATION_CREDENTIALS'], scopes=scopes)

client = bigquery.Client(credentials=credentials)

У меня нет проблем со строгими таблицами BigQuery, но я не понимаю, что я делаю здесь неправильно. Спасибо за вашу помощь.

Answer 1

Хорошо, я наконец-то понял. Я думал, что дал доступ к электронной почте учетной записи службы, но, похоже, это не сработало, потому что я не был владельцем этого файла. Использование расширенного запроса доступа также не отправило запрос владельцу.

Поэтому я попросил владельца отправить приглашение на адрес электронной почты учетной записи службы, и теперь он работает нормально.

Answer 2

# from google.cloud import bigquery
# client = bigquery.Client()
# dataset_id = 'my_dataset'

dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.schema = [
   bigquery.SchemaField("name", "STRING"),
   bigquery.SchemaField("post_abbr", "STRING"),
]
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = "gs://cloud-samples-data/bigquery/us-states/us-states.json"

load_job = client.load_table_from_uri(
             uri,
             dataset_ref.table("us_states"),
             location="US",  # Location must match that of the destination dataset.
             job_config=job_config,
            )  # API request
print("Starting job {}".format(load_job.job_id))

load_job.result()  # Waits for table load to complete.
print("Job finished.")

destination_table = client.get_table(dataset_ref.table("us_states"))
print("Loaded {} rows.".format(destination_table.num_rows))

Приведенный выше код, который я получил от Google, сам прекрасно работает со мной. У них есть коды на других языках, проверьте это https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-json