Как ссылаться на последнюю таблицу из таблицы BigQuery, разделенной вручную

Question

У нас есть разделенная вручную таблица «видео метаданных», в которую ежедневно поступают свежие данные.В нашей системе старые данные хранятся только по историческим причинам, поскольку самые последние данные являются самыми последними.

Мы не можем понять, как ссылаться только на самый последний раздел в этой таблице, используя LookML.

До сих пор мы пытались хранить представления в BigQuery.Мы пытались и не смогли сохранить простой запрос «извлечение нового раздела» в виде представления как в стандартном, так и в устаревшем SQL, и после некоторого поиска это, похоже, было разработано, хотя в сообщении об ошибке указано «Набор данных не найден»вместо чего-то более уместного.

Мы также пытались встроить фильтрацию в Looker, но у нас возникают проблемы с тем, чтобы заставить вещи работать на самом деле и только через них возвращать нам самые последние данные.

Любая помощь будет оценена.

Answer 1

Нам удалось найти решение, производные таблицы

Мы решили, что, поскольку мы не можем определить представление на стороне BigQuery, мы можем сделать это на стороне Looker, поэтому мы определили таблицу в блок производной таблицы внутри представления.

derived_table: {
    sql: SELECT * FROM dataset.table_*
         WHERE _TABLE_SUFFIX = (
             SELECT max(_TABLE_SUFFIX) FROM dataset.table_*
         );;
    sql_trigger_value: SELECT max(_TABLE_SUFFIX) FROM dataset.table_*;;
}

Это дало нам представление только с самыми новыми данными в нем.