Опрос Bigtable по значениям столбцов

Question

Есть ли программный способ запроса Bigtable без использования rowkey и непосредственного запроса значений столбцов?

Я предполагаю, что мы можем сделать это как внешние таблицы в BigQuery и через API, сканируя весь Bigtable и применяя фильтр.Но есть ли лучший способ?

Answer 1

Bigtable - это хранилище данных на основе строк, где BigQuery - хранилище данных на основе столбцов, поэтому невозможно выполнить запросы, которые вы пытаетесь выполнить, без полного сканирования таблицы или использования федеративного запроса .Если вы планируете регулярно выполнять множество подобных запросов, я рекомендую дублировать ваши данные между Bigtable и BigQuery, что является довольно распространенным решением.Вы можете либо добавить ответвление к вашему текущему потоку загрузки, либо написать задание потока данных, которое перемещает ваши данные из одного в другой с регулярным интервалом.

Answer 2

Другой вариант - создать другую таблицу с перемещением значений в столбцах к ключу.Таким образом вы продублируете свои данные, но сможете быстро найти их и выполнить сканирование диапазона.