Имеет ли BigQuery API для возврата контрольной суммы для экспортированной таблицы

Question

Я смотрю, существует ли способ, которым мы можем получить контрольную сумму файла (или таблицы), которую можно экспортировать из Google BigQuery.

Пример, предполагающий, что я экспортировал (или загрузил) файлназываемый daily-record-2018-07-10 из bigquery, есть ли способ, которым bigquery может предоставить нам некоторые checksum (например, sha1, md5 и т. д.), чтобы мы могли предварительно вычислить эти контрольные суммы на нашем конце, прежде чем мы начнем обрабатывать эти файлы

Причина этого заключается в том, чтобы быть уверенным, что мы не теряем никакой информации при загрузке (или экспорте) таблицы.Мы теряем некоторую информацию по сети, затем мы можем предварительно вычислить контрольную сумму и попытаться снова экспортировать таблицу.

Answer 1

Похоже, вопрос может быть о том, как проверить контрольную сумму файла , и я уверен, что об этом достаточно ресурсов, но если вы хотите проверить контрольную сумму таблицы, которая хранится в BigQuery,Вы можете использовать запрос этой формы:

SELECT BIT_XOR(FARM_FINGERPRINT(TO_JSON_STRING(t)))
FROM MyTable AS t

Это преобразует каждую строку в строковое представление, хэши, а затем XOR результаты для генерации контрольной суммы по всей таблице.Вы также можете использовать это для внешних таблиц (например, для файлов в облачном хранилище или на диске).