Источник данных на GCP BigQuery

Question

Я пытался найти любые существующие компоненты потребления, такие как драйвер, плагин, который может поддерживать GCP BigQuery. Учитывая, что если он не может поддерживать, пожалуйста, посоветуйте, как реализовать подклассы поглощения.source.base.DataSource

Answer 1

Pandas может читать из BigQuery с помощью функции read_gbq . Если вас интересует только чтение целых результатов за один раз, тогда это все, что вам нужно. Вам нужно сделать что-то вроде sql source , который вызывает pandas для загрузки данных в методе _get_schema.

В настоящее время нет программы чтения GBQ для dask, поэтому вы не можете загрузить из ядра или в parralel, но смотрите обсуждение в этой теме .