Превышена квота для байтов tabledata.list в секунду

Question

Я запускаю набор запросов к таблицам в наборе данных BigQuery.

Есть 3 select * запроса, как показано ниже:

"Select * from table1"    //1.3M records and 2.5GB data
"Select * from table2"      //0.3M records and 15 GB data
"Select * from table3"     //2M    records and 3GB data

Мы запрашиваем приведенные выше таблицы, используя искровой соединитель. Однако периодически мы видим ошибку:

403 Запрещено "
"домен": "useLimits",
message: "" message ":" Превышено ограничение скорости: Ваш проект: превышена квота для байтов tabledata.list в секунду на проект.

Предполагается, что вызов списка табличных данных не выполняется, поскольку он возвращает более 60 МБ в секунду, что, по-видимому, является квотой по умолчанию согласно https://cloud.google.com/bigquery/troubleshooting-errors

Answer 1

Tabledata.list действительно не оптимизирован для случаев использования с высокой пропускной способностью, таких как Spark. Возможно, вы захотите проверить другие варианты чтения из BigQuery - в частности, этот вариант использования предназначен для BigQuery Storage API , включая собственный Spark-соединитель .