постоянство данных в исходном источнике данных

Question

Может кто-нибудь рассказать мне о приведенном ниже примере использования, который имеет смысл и применим к программному компоненту потребления.

Мы предпочитаем использовать получение для создания уровня абстракции или конечной точки службы API для инкапсуляции типичных операций с данными, таких как данные. поиск и сохранение данных обратно в исходные системы данных. Короче говоря, чтобы построить read () и save () из системы БД, такой как GCP BigQuery.

Answer 1

Intake предлагает ограниченные возможности записи (прямо сейчас): для каждого типа контейнера данных поддерживается только один формат для функций «persist» (локальное хранилище) и «export» (или upload). Ваши большие запросы, вероятно, похожи на фреймы, так что это будет паркет. Я верю , что вы можете просто сохранить в GCS, и выполнить bigquery для этих файлов, но я не знаю, как вы go об этом.

Есть нет общий способ записи данных в любой бэкэнд, который поддерживается для чтения.